VRAM 12GBは、ローカルLLMを本格的に試し始めるうえで選択肢が大きく広がる容量です。
7B・8BクラスをQ4だけでなくQ5やQ8で検討でき、12B・14BクラスもQ4を中心に実用候補へ入ります。
ただし、12GBのモデルファイルがそのまま12GB GPUへ収まるわけではありません。モ
デル本体に加えてKVキャッシュ、ランタイム、画面表示、画像入力などがVRAMを使用します。
特に長いコンテキストやマルチモーダルモデルでは余裕が必要です。
この記事では、VRAM 12GBで快適・条件付き・非推奨になるモデル規模を分け、代表GPU、量子化、必要RAM、Ollama・LM Studioの設定まで整理します。
12GB環境では7B・8Bが安定しやすく、12B・14BはQ4が主戦場です。
20B以上はモデルによって起動できても、GPUだけに収まらない可能性があります。
ファイルサイズは目安にすぎません。
MoEモデル、画像エンコーダー付きモデル、KVキャッシュの形式によって実行時メモリは変わります。
12GBでは、小型モデルを高い量子化で使うか、14B前後をQ4で使うかが主な選択です。
同じ系列でも世代や派生版によってライセンスと日本語性能が異なります。
モデルカードと実ファイルサイズを確認してください。
14B前後はQ4から始めます。7B・8BならQ5やQ8へ上げる余地がありますが、量子化を上げるほどKVキャッシュ用の余裕が減ります。
12GBでも最大コンテキストを最初から設定しないでください。
8K前後から開始し、16K、32Kと段階的に増やします。
画像を入れる場合はさらに短くする方が安定します。
通常利用はRAM 16GBでも可能ですが、14B、CPUオフロード、複数アプリを扱うなら32GBを推奨目安とします。
大きめモデルを頻繁に試すなら64GBも選択肢です。
代表的な12GB GPUにはRTX 3060 12GB、RTX 4070、RTX 4070 SUPER、RTX 5070などがあります。
容量が同じでも演算性能、メモリ帯域、世代、消費電力が違うため、生成速度は同じではありません。
RTX 3060 12GBは新しい上位GPUより遅い一方、8GB GPUより大きなモデルをGPU内へ収めやすい点が強みです。
ローカルLLMでは世代の新しさだけでなく、VRAMへ収まるかが体感速度を大きく左右します。
ノートPC版は名称が同じでもVRAM容量や電力上限が異なる場合があります。
購入時は製品名だけでなく、実際のVRAMとTGPを確認してください。
PC全体の選び方はローカルLLMに必要なPC・GPU・VRAM、容量別の詳しい判定はVRAM・PC適合チェッカーで確認できます。
最初は7B〜8BのQ4、8Kコンテキストで動作確認し、余裕があればQ5や14B Q4へ進みます。
LM Studioでは読み込み前のメモリ推定、Ollamaでは実際のモデルタグと容量を確認してください。
画像入力で落ちる場合は解像度と枚数を減らします。
共有GPUメモリの使用が増え、速度が急落する場合はモデルの一部がRAMへ移っている可能性があります。
このモデル、自分のPCで動く？
GPU・VRAM・RAMを選ぶと、ローカルで動かせるAIモデルの目安を確認できます。
VRAM 12GBは、7B・8Bを高品質設定で使いながら、12B・14BのQ4にも挑戦できるバランスの良い容量です。
一方、20B以上を無理に低量子化するより、用途に合う14B以下を安定して動かす方が実用的な場合があります。
モデル本体だけで12GBを使い切らず、KVキャッシュや画像処理の余裕を残してください。
GPU名、RAM、用途を含む個別判定はVRAM・PC適合チェッカーで確認できます。
.png){kind=logo}
