Ornith-1.5-35B-A3Bは、コーディングとエージェント用途を重視した約35B規模のMoEモデルです。
モデル名のA3Bや「約3B activated parameters」という説明を見ると、3Bモデル並みのメモリで動くように感じます。
しかし、3Bは各トークンを計算するときに選ばれるパラメータ量であって、保存しておくモデル全体の重さではありません。
公式GGUFのQ4_K_Mだけで21.7GBあります。
したがって、16GB GPUへQ4を丸ごと収めることはできません。
24GB GPUなら重量は収まりやすいものの、KVキャッシュ、推論バッファ、画面表示、OSの利用分まで含めると、長いコンテキストでは余裕が小さくなります。
以下は8月 26, 2026現在の公式モデルカード、公式GGUF、代表的な派生GGUFの容量と公開測定を基にした導入ガイドです。
「起動した」と「コーディングエージェントとして快適に使える」を分け、最初に試す設定まで整理します。
Ornith-1.5-35B-A3Bは、すべての層で全パラメータを計算するdenseモデルではなく、入力に応じて一部の専門家を選ぶMixture-of-Experts（MoE）です。
公式説明では総規模が約35B、各トークンで有効になるパラメータが約3Bとされています。
派生GGUFの説明では、256のルーティング専門家から8つを選び、共有専門家も使う構成が示されています。
計算時に使う専門家が少ないため、全35Bを毎回計算するdenseモデルより演算量を抑えられます。
一方、次のトークンでどの専門家が選ばれるかは固定されません。
推論中に必要になり得る重みはVRAMまたはRAMに置いておく必要があります。
このため「速度はactive側、メモリは総パラメータ側」という理解が近くなります。
公式モデルカードはBF16で約70GBと説明し、256Kコンテキストを確保する例として80GB GPUを2枚使うサーバー構成を掲載しています。
これは一般PCの最低要件ではなく、BF16と長文処理に十分な余裕を持たせた公式サービング例です。
家庭用GPUではGGUF量子化、短いコンテキスト、CPUオフロードを組み合わせるのが現実的です。
公式のGGUFリポジトリには、BF16 71.1GB、Q4_K_M 21.7GB、Q5_K_M 25.3GB、Q6_K 29.2GB、Q8_0 37.8GBが掲載されています。
Q2、Q3、IQ系など細かな選択肢は、BartowskiやAtomicChatなど第三者配布者のGGUFにあります。
派生GGUFは便利ですが、公式ファイルと同一ではなく、llama.cppのビルド、importance matrix、埋め込み・出力層の精度で容量と品質が変わります。
Q4_K_Mを最初の基準にする理由は、公式配布があり、LM Studio、llama.cpp、Ollamaなどで扱いやすく、Q2／Q3より品質を残しやすいからです。
16GBしかない場合も、すぐQ2へ落とすのではなく、Q4の専門家層をRAMへ置くCPU MoEオフロードと、Q3完全常駐の両方を比較すると判断しやすくなります。
16GB GPUでは、Q3_K_Sの派生ファイルが約16.0GB、IQ3_XXSが約15.3GBです。しかし、GPUにはモデル以外の領域も必要です。
ファイル容量が16GB未満でも、KVキャッシュとバッファを含めれば完全常駐できない場合があります。
Q2〜低Q3を短いコンテキストで試すか、Q4の一部をシステムRAMへオフロードする構成が現実的です。
CPU MoEオフロードは、MoEの専門家をRAM側へ置き、GPUには注目度の高い層や非専門家部分を残す方法です。
AtomicChatは、専門家が重みの大部分を占める一方、各トークンで動くのは一部である性質を利用し、12GB GPUでも約22GBのビルドを動かす例を公開しています。
ただし、これはすべてのCPU、メモリ帯域、OSで同じ速度になる保証ではありません。DDR5の速度、チャネル数、CPU、PCIe転送が体感へ影響します。
24GB GPUでは、公式Q4_K_M 21.7GBが最有力です。
短い会話や8K〜16K程度の文脈から始めれば、完全常駐を試しやすい容量です。
32K以上、画像入力、長い思考出力、並列リクエストを使うなら、KVキャッシュの余裕を確保するため、一部オフロード、より小さいIQ4、コンテキスト短縮を検討します。
Q5_K_Mは25GBを超えるため、24GBへ完全常駐しません。
32GB GPUではQ5_K_M、Q6_Kが候補になります。
Q6_K 29.2GBは重量だけなら近い範囲ですが、長文では余裕が限られます。
48GB GPUならQ8_0 37.8GBを含めて選択肢が広がり、画像投影モデルやKVキャッシュも載せやすくなります。
Apple SiliconはGPU専用VRAMではなく統合メモリを使うため、64GB以上のMacではQ4〜Q6を検討できますが、バックエンドの対応と実測速度はNVIDIA環境と分けて考えてください。
システムRAMは、16GB GPUでオフロードするなら32GBを最低候補、Q4以上を安定して扱い、OSやコーディングエージェントも同時に動かすなら64GBを余裕ある候補として考えられます。
これは公式最低要件ではなく、モデル容量と周辺処理を合算した編集上の目安です。
実際には空きRAMを確認し、スワップが常態化する構成を避けてください。
モデル重量だけでなく、入力と出力の履歴を保持するKVキャッシュが必要です。
コンテキストを8Kから32K、128K、256Kへ増やすと、その分だけキャッシュが増えます。
実際の増加量はKVヘッド数、データ型、バックエンドの量子化、バッチサイズで変わるため、「256K対応だから24GBで256Kを使える」とは限りません。
公式モデルカードは最大262,144トークンを扱い、YaRNで約100万トークンへ拡張する方法も掲載しています。
ただし、同カードは長文用の例として2枚の80GB GPUを用いています。
さらに、静的なRoPE拡張は通常長の入力で品質を少し下げる可能性があると注意しています。
家庭用PCでは、公称上限を目標にするより、実務で必要な範囲へ制限する方が安定します。
画像入力には、モデル本体とは別にマルチモーダル投影ファイルが必要です。
公式GGUFではBF16のmmprojが約903MB、Bartowski配布でも対応mmprojが用意されています。
画像を高解像度・多枚数で処理すると、視覚トークンとキャッシュが増えます。
まずテキストだけで安定させ、その後に画像1枚を追加してピークメモリを測る順序が安全です。
オフロードでは、GPUレイヤー数だけを最大化すればよいとは限りません。
MoEの専門家をCPUへ置く機能に対応した新しいllama.cppを使い、メモリ帯域と生成速度を測ります。
初回の合格条件は、クラッシュしないこと、スワップし続けないこと、必要なコンテキストで応答が返ること、コーディングタスクの修正精度が保てることです。
初めて試すなら、モデル検索とGUIがあるLM Studioが扱いやすい選択です。
GPUオフロード量とコンテキスト長を画面から変更し、メモリ使用量を見ながら調整できます。
ただし、新しいモデル構造への対応は内蔵ランタイムの更新状況に左右されます。
モデルが表示されても、ツール呼び出しや推論タグが正しく処理されるか確認してください。
llama.cppは、最新版で細かな起動引数を調整したい人に向きます。
公式GGUFはllama.cpp用の実行例を掲載し、派生配布者はQ4_K_M指定、MTPを使う投機的デコード、CPU MoEオフロードの例を示しています。
16GBでQ4を試す場合や、コンテキストごとの比較を行う場合は最も制御しやすい方法です。
Ollamaはモデル取得とAPI化が簡単です。公式GGUFページにはHugging Faceのモデルを直接指定する実行例があります。
設定の手軽さが利点ですが、Modelfile、コンテキスト、GPU配置、ツール呼び出し対応を確認し、アプリ既定値のまま性能を判断しないでください。
vLLMとSGLangは、複数ユーザーへOpenAI互換APIを提供するサーバー用途に適しています。
公式モデルカードが示す最低バージョンはTransformers 5.8.1以上、vLLM 0.19.1以上、SGLang 0.5.9以上です。
BF16・長文・高スループットの例は複数の大容量GPUを前提とするため、単体の16GB／24GB PCで最初に選ぶ構成ではありません。
コーディングエージェント用途では、モデルが返すthinkブロック、tool_call、チャットテンプレートを正しく解釈できるかが重要です。
単純な質問への回答だけで判断せず、ファイル検索、複数ファイル編集、テスト実行、失敗からの再試行まで同じ課題で比較してください。
Ornith-1.5-35B-A3Bのactive約3Bは、演算量を抑えるMoEの特徴を示しますが、必要メモリが3Bモデル並みになる意味ではありません。
公式Q4_K_Mは21.7GBあり、16GB GPUでは低ビット量子化かRAMオフロード、24GB GPUではQ4を短〜中程度のコンテキストで試すのが現実的です。
最初から256Kを設定したり、Q2へ落として起動だけを優先したりすると、速度や品質を誤って評価しやすくなります。
Q4_K_M、8K〜16K、画像なし、単一リクエストを基準にし、必要な用途だけ文脈と機能を追加してください。
購入判断ではVRAMだけでなく、システムRAM、メモリ帯域、ストレージ、対応ランタイム、コーディング課題の合格率まで確認することが欠かせません。
.png){kind=logo}
