MiniCPM5-2Bは「2Bクラスなら低スペックPCでもローカルAIを実用化できるのか」を試しやすいモデルです。
OpenBMBの公式モデルカードでは：
・標準LlamaForCausalLMアーキテクチャ
・約25.2億パラメータ
・131,072トークンのコンテキスト長を持ち
・ローカルアシスタント
・コーディング
・ツール利用
・長文処理を想定しています。
重要なのは、モデル容量と実行時メモリを分けることです。
GGUFのQ4_K_Mは約1.56GBですが、実際の動作時にはKVキャッシュやランタイム領域が追加されます。
特に128K近い長文を扱うと、軽量モデルでもメモリ消費は増えます。
MiniCPM5-2BはDense型の2Bクラスモデルです。
公式値では：
・総パラメータ数2,516,756,480
・非Embeddingパラメータ約19.82億
・42層、GQAはQヘッド16／KVヘッド2
・最大コンテキスト131,072で
ライセンスはApache-2.0で公開されています。
OpenBMBは同サイズ帯との比較で、コード、数学、長文理解、ツール利用、エージェント系タスクを強みとして挙げています。
ただしベンダー自身の評価結果なので、「2Bで大型モデルを完全に代替できる」と解釈するのではなく、自分の日本語用途やコード用途で確認するのが適切です。
公式GGUFリポジトリでは、Q4_K_Mが約1.56GB、Q8_0が約2.68GB、F16が約5.04GBです。
Q4_K_Mは容量と品質のバランスを優先する場合の第一候補です。
Q8_0はメモリに余裕があり量子化による品質低下を抑えたい場合、F16は元の精度に近い状態を優先し、5GB超の重みと実行時領域を確保できる環境向けです。
ここで注意したいのは、ファイル容量＝必要VRAMではない点です。
GPUへ全レイヤーを載せる場合でも、KVキャッシュ、コンテキスト、バッファなどが別途必要になります。
VRAM 4GBではQ4_K_Mを中心に考えるのが現実的です。
短〜中程度のコンテキストであれば、モデル本体をGPUへ載せつつ一定の余裕を残せます。
Q8は環境次第で窮屈になりやすく、F16はGPUだけにすべて収めるより一部オフロードを想定した方が安全です。
VRAM 8GBではQ4_K_MとQ8_0が扱いやすくなります。
F16もモデル本体は約5.04GBなので候補ですが、長いコンテキストや他アプリとのVRAM共有を考えると余白が必要です。
VRAM 12GB以上ならF16を含め選択肢は広がります。
ただし128Kフルコンテキストを常用する場合は別問題です。
最大コンテキストは「常にその長さで快適に使える」という意味ではありません。
GGUFはllama.cpp系ランタイムを使うことでCPU実行やGPU＋CPUの分割が可能です。
GPUがないPCでもQ4_K_Mならモデル自体は小さいため起動しやすい一方、OSやランタイムの領域も必要なので、RAM 8GBは最低限寄り、16GB以上あると運用しやすくなります。
GPUから溢れたレイヤーをRAMへ逃がすこともできますが、PCIe転送やCPU計算が増えるほど速度は低下します。
「起動した」と「会話用途で快適」は別評価にしてください。
MiniCPM5-2Bは131,072トークンをサポートしますが、長文になるほどKVキャッシュが増えます。
必要量はKV精度、ランタイム、バッチ、実装によって変わるため、128K利用時の必要VRAMを単一の数字で固定するのは危険です。
実用上は8Kや16Kなど短い設定から始め、32K、64Kと伸ばしながらピークRAM／VRAMと速度を測る方法が確実です。
4GBや8GB GPUでは、モデルの量子化以上にコンテキスト設定がメモリ不足の原因になることがあります。
公式GGUFはHugging Face経由でOllamaから直接利用できます。
Q4_K_Mを使う場合は「ollama run hf.co/openbmb/MiniCPM5-2B-GGUF:Q4_K_M」が公式リポジトリで案内されています。
初回はQ4_K_Mで短いコンテキストから試し、タスクマネージャー等でVRAM／RAMを確認してください。
余裕があればQ8へ上げる、メモリが厳しければGPUオフロード量やコンテキストを下げる、という順で調整すると原因を切り分けやすくなります。
MiniCPM5-2Bは標準LlamaForCausalLMアーキテクチャで、公式もllama.cpp、Ollama、LM Studio向けのGGUFを用意しています。
LM Studioでは公式GGUFを選び、まずQ4_K_Mをロードするのが分かりやすい方法です。
llama.cppではGPUレイヤー数とコンテキスト長を細かく調整できるため、VRAM 4GBのような制約環境で特に有効です。
モデルを全部GPUへ載せることより、速度とメモリのバランスが取れる設定を探す方が実用的です。
OpenBMBはMiniCPM5-2B-MLXを公開しており、4bit版をApple Siliconで利用できます。
MacはVRAMとRAMが分離したPCと異なり統合メモリを使うため、「GPUメモリ何GB」という考え方だけでは判断できません。
8GB統合メモリではOSとの競合が大きく、16GB以上の方が余裕があります。
24GB、32GB以上なら長いコンテキストや他アプリとの併用もしやすくなりますが、128K常用時は実測確認が必要です。
最小メモリを最優先するならMiniCPM5-1B、2Bクラスでコード・長文・ツール利用まで狙うならMiniCPM5-2Bが候補です。
Qwen3.5-2Bは同サイズ帯の比較対象として、日本語を含む自分の用途で品質を比較する価値があります。
Granite 4.2 3Bは少し大きい代わりに、3Bクラスを許容できる環境での比較候補です。
モデル選びでは公開ベンチマークだけでなく、同じプロンプト、同じ量子化条件、同じコンテキスト長で生成速度と品質を測ってください。
MiniCPM5-2BはQ4_K_M約1.56GBという小ささから、VRAM 4GB級でもローカルLLMを試しやすいモデルです。
VRAM 8GBならQ8を含め運用の自由度が上がり、Apple Siliconには公式MLX版もあります。
一方、131Kコンテキスト対応を「4GBでも128Kを快適に使える」と読み替えてはいけません。
最初はQ4＋短いコンテキストで起動し、VRAM／RAMと速度を見ながら量子化と文脈長を上げるのが最も失敗しにくい導入方法です。
.png){kind=logo}
