VRAM 24GBは、ローカルLLMで27B〜32BクラスをQ4量子化で狙える上位構成です。
14B以下なら高い量子化、長いコンテキスト、画像入力にも余裕を持たせやすく、コードや専門文書など重い用途へ広げられます。
一方、70Bモデルを24GB GPUだけで快適に動かせるわけではありません。
低量子化や大容量RAMへのオフロードで起動しても、生成速度、出力品質、長文性能が実用水準に届かない場合があります。
この記事では、VRAM 24GBの強みを生かせるモデル規模、RTX 3090・4090などの違い、必要RAM、Ollama・LM Studioの設定を整理します。
30B前後のQ4ファイルが24GB未満でも、実行時には追加領域が必要です。
20GB前後までのモデルを基準にし、文脈と画像入力の余裕を残すと安定しやすくなります。
24GB環境では、Qwen系27B、30B前後のDenseまたはMoE、32BクラスのQ4が比較対象になります。
ただし総パラメータと実際に動くパラメータが異なるMoEでは、必要メモリと計算負荷を別々に確認します。
Qwen3.8-27Bの詳しい構成はQwen3.8-27B VRAMガイドでも確認できます。
70BをQ2などへ大きく圧縮し、残りをRAMへオフロードすれば起動できる構成はあります。
しかし、低量子化による品質低下、CPUとGPU間の転送、長い生成時間、KVキャッシュの不足が同時に起きやすくなります。
「70Bが起動した」ことだけを成功条件にせず、1タスクを完了する時間と修正回数で判断してください。
24GB GPUの代表例にはRTX 3090、RTX 4090、Radeon RX 7900 XTXがあります。
VRAM容量は同じでも、演算性能、メモリ帯域、電力効率、対応ソフトウェアが異なります。
NVIDIA GPUはCUDAを前提とする実行環境で対応しやすく、RTX 4090はRTX 3090より高速になりやすい一方、価格と電源要件も上がります。
AMD GPUは対応バックエンドを事前確認する必要があります。
24GB GPUでは電源容量、ケース寸法、冷却も重要です。
長時間推論で温度や電力制限が発生すると、短いベンチマークより速度が下がることがあります。
PC全体の選び方はローカルLLMに必要なPC・GPU・VRAM、容量別の詳しい判定はVRAM・PC適合チェッカーで確認できます。
モデルを複数同時に読み込むと24GBでも不足します。
埋め込みモデル、音声モデル、画像生成などを同時運用する場合は、各プロセスのVRAMを合計してください。
長いコンテキストが必要なら、32Bを限界まで詰め込むより20B〜24Bへ下げてKVキャッシュ領域を確保する方が安定する場合があります。
このモデル、自分のPCで動く？
GPU・VRAM・RAMを選ぶと、ローカルで動かせるAIモデルの目安を確認できます。
VRAM 24GBでは、27B〜32BのQ4が主要候補になり、14B以下は高品質量子化や長文・画像入力で余裕を持たせられます。
70Bは動作できる構成があっても、速度と品質を含めると常用向けとは限りません。
大型モデルではRAM 64GB以上、電源、冷却、ランタイム対応も含めて設計してください。
モデル別の適合判定はVRAM・PC適合チェッカーで確認できます。
.png){kind=logo}
