Qwen3.8-27Bをローカルで試したい人が最初にぶつかるのが、「自分のGPUで動くのか」という問題です。
とくに16GB VRAMは、RTX 4060 Ti 16GBなど現実的な価格帯のGPUで選びやすい一方、27B級モデルを丸ごと収めるには余裕がありません。
ここで注意したいのは、Hugging Faceに表示されるGGUFファイル容量だけで可否を決めないことです。
ggml-orgが公開するQwen3.8-27BのGGUFでは、Q4_K_Mが約19GB、Q8_0が約28.6GB、BF16が約53.8GBです。
16GB GPUに19GBのQ4モデルはそのまま全部入りませんが、llama.cpp系では一部レイヤーをCPU側へ残すことで動かせる場合があります。
一方、起動できることと快適に使えることは別です。
長い会話履歴、画像入力、複数セッション、推論時の作業領域まで考えると、VRAMぎりぎりの構成は速度低下やメモリ不足につながります。
本記事では「最低VRAM」を一つの数字で断定せず、量子化とGPU容量の組み合わせから現実的な運用ラインを整理します。
Qwen3.8-27BはQwenが公開する27B級の画像・テキスト対応モデルです。
公式configでは最大位置埋め込み数が262,144に設定され、画像・動画用のvision構成も含まれています。ライセンスはApache 2.0です。
ローカル実行で扱いやすいのがGGUFです。ggml-orgの変換版では主要ファイルとしてQ4_K_M、Q8_0、BF16が配布されています。
ここでの容量は「ディスクに置くモデル本体」の大きさであり、実際のVRAM消費量と完全には一致しません。
なお、画像入力を使う場合はvision projectorも必要です。
ggml-orgの配布ではmmprojが別ファイルになっているため、テキストだけで使う場合よりディスク容量とメモリに追加の余裕が必要です。
MTP用ファイルも別に用意されていますが、まず通常の推論を安定させてから試す方が安全です。
VRAM別の判断では、「全部GPUへ載せる」「一部をCPUへ逃がす」「ほぼCPU中心で動かす」を分けます。
Q4_K_Mが約19GBあるため、24GB VRAMならモデル本体をGPUへ載せやすく、16GB以下ではオフロード前提になりやすいというのが出発点です。
GPU VRAM現実的な目安注意点8GBQ4系を大きくCPUオフロード。
8GBや12GBでも「起動できない」とは限りません。
llama.cppではGPUへ載せるレイヤー数を調整でき、残りをシステムRAM側へ置けます。
ただしPCIeをまたぐデータ移動とCPU処理が増えるため、生成速度はGPU完結時より下がりやすくなります。
16GBは最も判断が難しい帯です。Q4_K_M本体がVRAMを上回るため、短いコンテキストで一部オフロードする構成が基本です。
32GB RAMでも試せますが、OS、モデルのCPU側常駐分、アプリの使用量を考えると、64GB RAMの方が余裕があります。
24GBではQ4_K_MをGPUへ載せたうえで追加領域を確保しやすくなります。
ただし画像入力や非常に長い会話履歴を使う場合は、モデル本体だけでVRAMを埋めない方が安定します。
Q4を選ぶ理由は単純に「軽いから」だけではありません。
ローカル環境では、モデルをGPUへ多く載せて速度を確保できること自体が実用性につながります。
Q8の方が重みの情報を多く保持できますが、Q8をCPUへ大きく逃がして遅く使うより、Q4をGPU中心で回した方が日常用途では満足度が高い場合があります。
文章生成、要約、軽いコーディング、ローカル検索補助を中心に使うなら、まずQ4_K_Mから始めるのが無難です。
品質差が気になるタスクだけQ8と比較し、実際の用途で差があるかを見る方が合理的です。
BF16は約53.8GBのモデル本体だけで一般的なゲーミングGPUのVRAMを大きく超えます。
研究用途、評価基準を揃えたい場合、複数GPUや大容量アクセラレータを使う環境向けです。
家庭用PCで「量子化しない方が高品質だから」とBF16を無理にCPU中心で動かすと、待ち時間の方が大きな問題になりやすいでしょう。
量子化は万能な順位ではありません。必要な品質、生成速度、電力、メモリ、導入の手軽さを合わせて選びます。
システムRAMは、CPUオフロードする環境ほど重要です。
16GB VRAMのPCでQ4_K_Mを動かすなら、最低限32GB RAMでも構成は可能ですが、余裕を重視するなら64GBを推奨ラインとして考えたいところです。
ブラウザやIDE、Docker、他のAIアプリを同時に開くならなおさらです。
ストレージもモデル本体だけでは足りません。
Q4_K_M約19GBに加え、別量子化を試す、mmprojを保存する、モデルキャッシュが残ることを考えると、50〜100GB程度の空き容量を確保しておくと管理しやすくなります。
さらに見落とされやすいのがKVキャッシュです。
Qwen3.8-27Bの公式configでは最大262,144トークンですが、最大値を設定したからといって家庭用GPUで常に快適に使えるわけではありません。
コンテキストを長く取るほどキャッシュ用メモリが増え、利用可能なVRAMを圧迫します。最初は8K〜32K程度の現実的な範囲で始め、必要に応じて伸ばす方が安定します。
画像入力では、テキストモデルに加えてvision projectorと画像トークンの処理が入ります。
Qwen3.8-27Bは画像・動画入力に対応する構成ですが、GGUF環境では使用するバックエンドとmmprojの組み合わせを確認してください。
「テキストが動いた＝画像も同じメモリで動く」とは考えない方が安全です。
ggml-orgのQwen3.8-27B-GGUFページにはllama.cppでの実行例が掲載され、LM StudioとOllama向けの導線も用意されています。
OllamaではHugging Face上のGGUFを指定して実行する方法が案内されています。対応状況は更新が速いため、導入時には各アプリを最新版へ更新してください。
llama.cppはGPUレイヤー数、コンテキスト、キャッシュなどを細かく調整したい人に向きます。
LM StudioはGUIからモデルを選び、ローカルサーバーも立てたい人に扱いやすい選択肢です。
Ollamaはコマンド中心でモデルを切り替え、他アプリからAPI接続したい場合に便利です。
用途別に見ると、16GB VRAM＋32GB RAMならQ4_K_Mを短めのコンテキストで試し、速度が不足するならRAM増設より先にGPUへ載せられる割合を確認します。
16GB VRAM＋64GB RAMはCPUオフロード時の余裕が増えますが、VRAM帯域やPCIe転送が速くなるわけではありません。
24GB VRAM＋64GB RAMならQ4_K_MをGPU中心で運用しやすく、Qwen3.8-27Bを日常的に使う構成としてバランスが良くなります。
Apple SiliconではVRAMとRAMが分離しておらず、統合メモリからモデル、OS、アプリが同じ領域を使います。
32GB統合メモリならQ4級を試せる余地はありますが、実効的に使える容量は32GB全部ではありません。
48GBや64GB以上になるほどモデルとキャッシュを同時に持ちやすくなります。
Apple SiliconはNVIDIA環境とメモリ管理やバックエンドが異なるため、同じ「32GB」という数字だけで速度を比較しないでください。
Qwen3.8-27Bを16GB VRAMで使う場合、答えは「Q4_K_Mを中心に、一部CPUオフロードなら現実的」です。
ただし、モデル本体が約19GBあるため、16GB GPUへ完全常駐させる前提ではありません。
快適さを重視するなら24GB以上のVRAMが扱いやすく、Q8_0までGPU中心で考えるなら32GB以上が視野に入ります。
PC購入では、最大コンテキストや「起動成功」の報告だけを基準にせず、自分が普段使う入力長、画像の有無、同時アプリ、期待する生成速度まで決めてから選ぶことが重要です。
まずQ4で実用途を試し、不満が品質なのか速度なのかを切り分けると、無駄なハードウェア投資を避けやすくなります。
.png){kind=logo}
