VRAM 8GBのGPUでも、ローカルLLMは十分に試せます。ただし「モデルファイルが8GB未満なら動く」と判断すると、読み込み後にメモリ不足が起きやすくなります。
推論時にはモデル本体だけでなく、会話履歴を保持するKVキャッシュ、実行環境、画像入力、GPUへ割り当てる追加領域も必要だからです。
結論から言うと、VRAM 8GBでは3B・4Bクラスなら比較的余裕があり、7B・8BクラスはQ4量子化と短〜中程度のコンテキストが現実的です。
12B以上は低量子化やRAMへの一部オフロードで起動できる場合がありますが、「起動する」と「快適に使える」は分けて考える必要があります。
この記事では、VRAM 8GBで狙いやすいモデル規模、量子化の選び方、必要RAM、Ollama・LM Studioの設定、VRAM不足への対処法を整理します。
自分のGPUとメモリ構成で詳しく判定したい場合は、VRAM・PC適合チェッカーも利用できます。
VRAM 8GBで最も扱いやすいのは、3B〜8BクラスをQ4前後へ量子化したモデルです。
量子化とは、モデルの重みを低いビット数で保存し、必要なメモリを減らす方法です。
一般にQ8は品質を保ちやすい一方で容量が大きく、Q4は品質と軽さのバランスを取りやすくなります。
この表はモデル規模だけを基準にした目安です。
同じ8Bでもアーキテクチャ、GGUFファイル、KVキャッシュ形式、コンテキスト長、画像入力の有無によって必要量は変わります。
特に「最大128K対応」と書かれたモデルでも、8GB環境で最大長をそのまま使えるとは限りません。
ディスプレイ出力にも同じGPUを使っている場合、WindowsやブラウザなどがVRAMの一部を使用します。
実際にモデルへ使える容量は8GBを下回るため、ファイルサイズが7.5GBのモデルを選ぶと余裕がほとんど残りません。
最初はモデル本体が5GB前後までの構成から試すと安定しやすくなります。
8GB環境では、知名度だけで大型モデルを選ぶより、用途に合う小型モデルをQ4で使う方が応答速度と安定性を両立しやすくなります。
以下は代表的な候補です。配布形式や量子化ごとに容量が異なるため、ダウンロード画面で実ファイルサイズを必ず確認してください。
配布サイズはダウンロード容量であり、実行時のVRAM使用量ではありません。KVキャッシュや計算用の領域などが別途必要です。
Gemma 3 4Bで画像を入力する場合も、テキストのみの場合とは分けて使用量を確認してください。
「4Kから試す」は本記事の初期設定案であり、各モデルの最大コンテキスト長や、8GB GPUでの動作保証を示すものではありません。
本記事では、この表の構成を実機で検証していません。
同じ配布タグでも内容が更新される場合があるため、取得時の容量と量子化を確認してください。
LM Studioで別のGGUFを選ぶ場合は、上の容量をそのまま当てはめず、選択したファイルの容量を確認します。
「Qwen系」「Llama系」のように同じ系列名でも、世代や派生モデルによってライセンス、対応言語、最大コンテキスト、必要メモリが異なります。
モデルカードと利用規約を確認し、商用利用や再配布の条件を判断してください。
Granite 4.2 3Bについては、Granite 4.2 3BのVRAM・必要スペックガイドでも詳しく解説しています。
日本語ベンチマークが高くても、自分の用途で自然な文章が出るとは限りません。
メール作成、要約、コード説明、情報抽出など、実際に使う3〜5個のプロンプトを各モデルへ同じ条件で与え、正確さ、速度、文字化け、指示遵守を比較してください。
8GB GPUでは、モデル名より先に量子化とコンテキスト長を決めると失敗を減らせます。
迷った場合はQ4_K_MなどのQ4系から始め、品質が不足する場合にQ5、容量に余裕がある小型モデルではQ8を検討します。
量子化特徴8GBでの使い方Q2・Q3軽いが品質低下が大きくなりやすい大きめモデルを試す検証用。
常用は出力品質を確認Q4容量と品質のバランスが良い7B・8Bの第一候補Q5・Q6Q4より高品質だが容量増加小型モデル、または短いコンテキストで検討Q8高精度だが重い3B・4Bなど小型モデル向け
会話履歴や長文資料を保持するKVキャッシュは、コンテキストが長いほど増加します。
8GB環境では、まず4K〜8K程度から動作を確認し、必要な場合だけ16K以上へ広げる方が安全です。
モデルが公式に長いコンテキストへ対応していても、使用中のランタイムや量子化によって実用上の上限は変わります。
VRAMはGPUが使うメモリ、RAMはOSやアプリなどが使うシステムメモリです。
VRAM 8GBとRAM 16GBを、そのまま「24GBのVRAM」として使えるわけではありません。
LM StudioはWindows環境で16GB以上のRAMを推奨しています。
ただし、必要量はモデル、実行アプリ、同時に開くソフトによって変わり、16GBがすべての構成に共通する必須条件ではありません。
本記事では、8GB GPUで小型・中型の量子化モデルを試す際の目安をRAM 16GB以上とします。
モデルの一部をCPU側で処理する場合や、複数アプリを併用する場合は、32GBも検討してください。
32GBは運用上の目安であり、動作保証ではありません。
CPUとGPUに処理を分けると、GPUだけで処理する構成より遅くなることがあります。
RAMを増やすだけで速度が改善するとは限らないため、小型モデルや短いコンテキストも比較しましょう。
OllamaとLM Studioは、GGUFなどのローカルモデルを比較的簡単に実行できる代表的な選択肢です。
初めての場合は、モデル管理画面とメモリ推定を確認しやすいLM Studio、コマンドやAPIから使いたい場合はOllamaが分かりやすいでしょう。
モデルが応答しても、すべての処理がGPU上で動いているとは限りません。モデルを起動した状態で、別のターミナルから次のコマンドを実行します。
ollama ps表示されるPROCESSORとCONTEXTを確認します。
PROCESSORが「100% GPU」なら、モデルがGPUに配置されていることを確認できます。
CPUとGPUの両方が表示される場合は、処理が分割されています。
ただし、100% GPUという表示だけで、長文入力時のメモリ余裕まで保証されるわけではありません。
8GB GPUでは、まずコンテキストを4Kに設定して確認し、余裕がある場合に8Kへ広げます。
これは初期設定の目安です。長文を入力した状態でもVRAM使用量と応答速度を確認してください。
CPU側への分割で速度が足りない場合は、コンテキストを短くする、量子化を軽くする、一段小さいモデルを選ぶ、といった順に比較します。
Ollamaではモデルごとに配布されるタグや容量が異なります。
LM Studioでも検索結果に複数量子化が表示されるため、モデル名だけでなくQ4・Q5などの表記とファイルサイズを確認してください。
デスクトップ向け・ノート向けを含め、VRAM 8GBのGPUは複数あります。
同じ8GBでもGPU世代、メモリ帯域、消費電力、ノートPCの電力制限によって生成速度は変わります。
RTX 3060 Ti、RTX 3070、RTX 4060、RTX 5060などを比較する場合も、「8GBだから同じ速度」とは考えないでください。
また、AMD GPUやIntel GPU、Apple Siliconでは対応するバックエンドとメモリの扱いが異なります。
Macのユニファイドメモリは、Windows PCの専用VRAM 8GBと単純には比較できません。
詳しいPC構成の考え方は、ローカルLLMに必要なPC・GPU・VRAMも参考にしてください。
モデルが読み込めない、生成途中で停止する、極端に遅い場合は、次の順番で設定を軽くします。
モデルの一部がRAMへ逃げていると、起動には成功しても生成が遅くなることがあります。
タスクマネージャーなどで専用GPUメモリ、共有GPUメモリ、RAM使用量を確認してください。
共有GPUメモリの使用が大きい場合は、GPUだけに収まっていない可能性があります。
画像理解に対応するモデルでは、言語モデル本体に加えて画像エンコーダーや画像トークンの処理が必要です。
テキストだけで動いたモデルでも、画像を入力するとVRAM不足になる場合があります。
画像解像度を下げる、1回の画像枚数を減らす、コンテキストを短くするなどの調整が必要です。
このモデル、自分のPCで動く？
GPU・VRAM・RAMを選ぶと、ローカルで動かせるAIモデルの目安を確認できます。
VRAM 8GBでは、3B・4Bクラスは比較的扱いやすく、7B・8BクラスはQ4量子化を基準にするのが現実的です。
12B以上は起動できる場合があっても、RAMオフロードによる速度低下や低量子化による品質低下を考える必要があります。
安定して使うには、モデルファイルをVRAM上限ぎりぎりまで詰めず、KVキャッシュとアプリ用の余裕を残してください。
最初はQ4、4K〜8Kコンテキスト、単一モデルから始め、VRAM使用量を見ながら段階的に広げる方法が安全です。
モデル名だけで判断せず、自分のGPU、VRAM、RAM、用途を含めて確認したい場合は、VRAM・PC適合チェッカーで判定できます。
.png){kind=logo}
