VRAM 8GBのGPUでも、ローカルLLMは十分に試せます。ただし「モデルファイルが8GB未満なら動く」と判断すると、読み込み後にメモリ不足が起きやすくなります。
推論時にはモデル本体だけでなく、会話履歴を保持するKVキャッシュ、実行環境、画像入力、GPUへ割り当てる追加領域も必要だからです。
結論から言うと、VRAM 8GBでは3B・4Bクラスなら比較的余裕があり、7B・8BクラスはQ4量子化と短〜中程度のコンテキストが現実的です。
12B以上は低量子化やRAMへの一部オフロードで起動できる場合がありますが、「起動する」と「快適に使える」は分けて考える必要があります。
この記事では、VRAM 8GBで狙いやすいモデル規模、量子化の選び方、必要RAM、Ollama・LM Studioの設定、VRAM不足への対処法を整理します。
自分のGPUとメモリ構成で詳しく判定したい場合は、VRAM・PC適合チェッカーも利用できます。
VRAM 8GBで最も扱いやすいのは、3B〜8BクラスをQ4前後へ量子化したモデルです。
量子化とは、モデルの重みを低いビット数で保存し、必要なメモリを減らす方法です。
一般にQ8は品質を保ちやすい一方で容量が大きく、Q4は品質と軽さのバランスを取りやすくなります。
この表はモデル規模だけを基準にした目安です。
同じ8Bでもアーキテクチャ、GGUFファイル、KVキャッシュ形式、コンテキスト長、画像入力の有無によって必要量は変わります。
特に「最大128K対応」と書かれたモデルでも、8GB環境で最大長をそのまま使えるとは限りません。
ディスプレイ出力にも同じGPUを使っている場合、WindowsやブラウザなどがVRAMの一部を使用します。
実際にモデルへ使える容量は8GBを下回るため、ファイルサイズが7.5GBのモデルを選ぶと余裕がほとんど残りません。
最初はモデル本体が5GB前後までの構成から試すと安定しやすくなります。
8GB環境では、知名度だけで大型モデルを選ぶより、用途に合う小型モデルをQ4で使う方が応答速度と安定性を両立しやすくなります。
以下は代表的な候補です。配布形式や量子化ごとに容量が異なるため、ダウンロード画面で実ファイルサイズを必ず確認してください。
「Qwen系」「Llama系」のように同じ系列名でも、世代や派生モデルによってライセンス、対応言語、最大コンテキスト、必要メモリが異なります。
モデルカードと利用規約を確認し、商用利用や再配布の条件を判断してください。
Granite 4.2 3Bについては、Granite 4.2 3BのVRAM・必要スペックガイドでも詳しく解説しています。
日本語ベンチマークが高くても、自分の用途で自然な文章が出るとは限りません。
メール作成、要約、コード説明、情報抽出など、実際に使う3〜5個のプロンプトを各モデルへ同じ条件で与え、正確さ、速度、文字化け、指示遵守を比較してください。
8GB GPUでは、モデル名より先に量子化とコンテキスト長を決めると失敗を減らせます。
迷った場合はQ4_K_MなどのQ4系から始め、品質が不足する場合にQ5、容量に余裕がある小型モデルではQ8を検討します。
量子化特徴8GBでの使い方Q2・Q3軽いが品質低下が大きくなりやすい大きめモデルを試す検証用。
常用は出力品質を確認Q4容量と品質のバランスが良い7B・8Bの第一候補Q5・Q6Q4より高品質だが容量増加小型モデル、または短いコンテキストで検討Q8高精度だが重い3B・4Bなど小型モデル向け
会話履歴や長文資料を保持するKVキャッシュは、コンテキストが長いほど増加します。
8GB環境では、まず4K〜8K程度から動作を確認し、必要な場合だけ16K以上へ広げる方が安全です。
モデルが公式に長いコンテキストへ対応していても、使用中のランタイムや量子化によって実用上の上限は変わります。
モデルをGPUへ完全に収める場合でも、OS、アプリ、モデル読み込み、キャッシュなどでシステムRAMを使用します。
8GB GPUのローカルLLM環境ではRAM 16GBが最低ラインになりやすく、複数アプリを開く、CPUオフロードを使う、長文を扱う場合は32GBあると運用しやすくなります。
RAMへのオフロードは「動かす」ためには有効ですが、GPUだけで処理する場合より生成速度が落ちます。
容量不足をすべてRAMで解決しようとせず、モデル規模や量子化を一段下げる選択肢も比較してください。
OllamaとLM Studioは、GGUFなどのローカルモデルを比較的簡単に実行できる代表的な選択肢です。
初めての場合は、モデル管理画面とメモリ推定を確認しやすいLM Studio、コマンドやAPIから使いたい場合はOllamaが分かりやすいでしょう。
Ollamaではモデルごとに配布されるタグや容量が異なります。
LM Studioでも検索結果に複数量子化が表示されるため、モデル名だけでなくQ4・Q5などの表記とファイルサイズを確認してください。
デスクトップ向け・ノート向けを含め、VRAM 8GBのGPUは複数あります。
同じ8GBでもGPU世代、メモリ帯域、消費電力、ノートPCの電力制限によって生成速度は変わります。
RTX 3060 Ti、RTX 3070、RTX 4060、RTX 5060などを比較する場合も、「8GBだから同じ速度」とは考えないでください。
また、AMD GPUやIntel GPU、Apple Siliconでは対応するバックエンドとメモリの扱いが異なります。
Macのユニファイドメモリは、Windows PCの専用VRAM 8GBと単純には比較できません。
詳しいPC構成の考え方は、ローカルLLMに必要なPC・GPU・VRAMも参考にしてください。
モデルが読み込めない、生成途中で停止する、極端に遅い場合は、次の順番で設定を軽くします。
モデルの一部がRAMへ逃げていると、起動には成功しても生成が遅くなることがあります。
タスクマネージャーなどで専用GPUメモリ、共有GPUメモリ、RAM使用量を確認してください。
共有GPUメモリの使用が大きい場合は、GPUだけに収まっていない可能性があります。
画像理解に対応するモデルでは、言語モデル本体に加えて画像エンコーダーや画像トークンの処理が必要です。
テキストだけで動いたモデルでも、画像を入力するとVRAM不足になる場合があります。
画像解像度を下げる、1回の画像枚数を減らす、コンテキストを短くするなどの調整が必要です。
このモデル、自分のPCで動く？
GPU・VRAM・RAMを選ぶと、ローカルで動かせるAIモデルの目安を確認できます。
VRAM 8GBでは、3B・4Bクラスは比較的扱いやすく、7B・8BクラスはQ4量子化を基準にするのが現実的です。
12B以上は起動できる場合があっても、RAMオフロードによる速度低下や低量子化による品質低下を考える必要があります。
安定して使うには、モデルファイルをVRAM上限ぎりぎりまで詰めず、KVキャッシュとアプリ用の余裕を残してください。
最初はQ4、4K〜8Kコンテキスト、単一モデルから始め、VRAM使用量を見ながら段階的に広げる方法が安全です。
モデル名だけで判断せず、自分のGPU、VRAM、RAM、用途を含めて確認したい場合は、VRAM・PC適合チェッカーで判定できます。
.png){kind=logo}
