ChatGPTやClaudeのような生成AIは私たちが入力した言葉をいったんサービス提供会社のサーバーへ送り、そこで処理した結果だけを返してきます。
これに対してローカルLLMはサーバー側の知性そのものを自分の手元へ置く発想です。
AIモデルを自分のPCや社内サーバーに置き、その場で文章を紡ぎ、要約し、コードを書かせる。
思考の舞台が、外ではなく内側へと移るのです。
かつて、この領域は専門家のためのものでした。
Linux環境の構築、Pythonの扱い、GPUドライバーや推論ライブラリの調整など、いくつもの壁を越えなければなりませんでした。
しかし今、その風景は大きく変わりつつあります。
LM StudioやOllamaといったツールが登場し、複雑だった工程は驚くほど滑らかになりました。
LM Studioではアプリ内からモデルを選び、そのままダウンロードして使い始めることができます。
一度保存すれば、ネットワークに頼らずともチャットやローカルAPIを動かせる。
Ollamaもまた複数のOSに対応し、取得したモデルを自分の環境で自在に扱えるようにしてくれます。
とはいえ、「自分のPCでAIが動く」という一文だけでは本質には触れられません。
そのモデルはすでに完成されたものなのか。
それとも自分で育てる必要があるのか。
手元の資料を理解させるにはどのような仕組みが必要なのか。
どれほどの性能があれば、ストレスなく対話できるのか。
そして本当に、クラウドよりも安全だと言い切れるのか。
こうした問いを曖昧なままにしてしまうと必要以上に高価な環境を整えてしまったり、本来不要な学習工程に踏み込んでしまったりすることもあります。
本記事ではローカルLLMという概念を単なる「便利な技術」としてではなく、その構造や前提から丁寧にほどいていきます。
導入の手順、求められる端末性能、モデルの選び方、そして見落とされがちなセキュリティまで、ひとつひとつを確かめながら自分にとって本当に意味のある使い方へとつなげていきましょう。
ローカルLLMとは、特定のAIモデルの名称ではありません。
Gemma、Qwen、Llama、gpt-ossといったモデルを外部のクラウドサービスではなく、自分のPC、ワークステーション、社内サーバーなどで動かす利用形態を指します。
同じモデルでも提供企業のクラウドAPIで使えばクラウド型、自分の端末へダウンロードして実行すればローカル型です。
つまり、モデルの種類ではなく推論処理をどこで実行するかによって呼び方が変わります。
ここでいう「ローカル」は一台の個人PCだけを意味しません。
企業が自社管理のサーバーへモデルを置き、社内ネットワークから利用する構成も含まれます。
クラウド上であっても自社専用環境やプライベートクラウドとして管理する場合にはオンプレミス型と近い目的で扱われることがあります。
両者の違いはプライバシーだけではありません。
費用の発生方法、使えるモデルの規模、保守の責任、更新頻度なども変わります。
以下の比較表は一般的な利用形態を整理したものです。
実際の条件はサービス、契約、端末、モデルによって異なります。
ローカルLLMには利用者が入力した内容を外部APIへ送らずに処理できる利点があります。
LM Studioもモデルと必要なランタイムを端末へ取得した後はチャットや文書処理、ローカルサーバーをオフラインで実行できると案内しています。
ただし、ローカルで動かしているだけですべての通信が自動的に遮断されるわけではありません。
アプリの更新確認、モデルのダウンロード、Web検索、外部API、MCPサーバーなどを利用すれば、別の通信経路が生まれます。
ローカルLLMとオープンソースLLMも、同じ意味ではありません。
ローカルLLMは実行場所を表す言葉です。
一方、オープンソースやオープンウェイトはモデルの公開方法やライセンスに関係します。
特に注意したいのが、「オープンウェイト」と「オープンソース」の違いです。
オープンウェイトモデルでは学習済みの重みを取得して、ローカル実行や追加調整に利用できます。
しかし、学習データ、学習コード、開発過程まで一般的なオープンソースソフトウェアと同じ範囲で公開されているとは限りません。
たとえばOpenAIのgpt-ossは重みを取得して自分の管理下で実行・調整できるオープンウェイトモデルで、Apache 2.0ライセンスが採用されています。
gpt-oss-20bとgpt-oss-120bはChatGPTやOpenAI APIで提供されるモデルとは別に、自前環境や対応するホスティング環境で動かす設計です。
ローカルLLMを使うには、主に二つの要素が必要です。
一つは、学習結果を保存したモデルファイル。
もう一つはそのモデルをCPUやGPUへ読み込み、入力に対する回答を計算する推論エンジンです。
モデルファイルだけをダウンロードしても通常はチャット画面が自動的に現れるわけではありません。
LM Studio、Ollama、llama.cpp、Transformersなどがモデルを読み込み、推論を実行します。
LM Studioはデスクトップ画面、モデル管理、推論ランタイム、ローカルAPIなどをまとめた環境です。
Ollamaはコマンド操作とAPI連携に向き、標準ではローカルのlocalhost:11434でAPIを提供します。
llama.cppはGGUF形式を中心に多様なCPUやGPUでモデルを動かすための推論基盤として利用されています。
モデルが回答を返すまでの流れを簡略化すると次のようになります。
LLMは、入力に対する完成済みの答えをデータベースから取り出しているわけではありません。
直前までのトークンを基に次に続く可能性の高いトークンを繰り返し予測し、文章を組み立てています。
「ローカルLLMを導入する」と聞くと、自分で大量の文章を集めてAIを育てる作業を想像するかもしれません。
しかし、一般的な導入ではすでに学習を終えたモデルを取得して利用します。
GoogleのGemma、AlibabaのQwen、MetaのLlama、OpenAIのgpt-ossなどは学習済みの重みが公開されています。
利用者は対応するモデルファイルをLM StudioやOllamaなどへ取り込み、推論を開始します。
ゼロから言語能力を学習させる必要はありません。
モデルの利用方法は次の四段階に分けると理解しやすくなります。
公開されているモデルには、Base、Pretrained、Instruct、Chatなどの表記があります。
Baseモデルは大量の文章から次のトークンを予測する能力を学習した基礎モデルです。
文章の続きを生成することはできますが、利用者の指示へ会話形式で回答するよう十分に調整されているとは限りません。
InstructモデルやChatモデルは質問への回答、指示の実行、対話などを行えるよう追加調整されています。
日常的なチャット、要約、文章作成に使うなら、まずInstruct版を選ぶ方が扱いやすいでしょう。
Baseモデルが必要になるのは独自の学習データでモデルを調整したい場合や研究目的で基礎モデルを検証したい場合です。
名前が似ていても用途が異なるため、モデル取得時には表記を確認しなければなりません。
社内文書や手元のPDFについて質問したい場合、モデルを再学習させる必要はありません。
RAGは質問に関連する資料を検索し、見つかった文章を質問と一緒にモデルへ渡す構成です。
モデルの知識そのものを更新するのではなく、回答時に参考資料を追加します。
LM Studioにも、PDF、DOCX、TXTをチャットへ添付し、モデルへ追加情報として渡す機能があります。
小さな文書は全文をコンテキストへ含め、大きな文書では関連箇所を検索して利用します。
RAGが向いているのは次のような場面です。
ただし、文書を登録すれば必ず正しく答えるわけではありません。
文書の分割方法、検索精度、埋め込みモデル、取得件数、アクセス権限などが回答品質に影響します。
ファインチューニングは特定の作業方法や出力傾向をモデルへ定着させたいときに使います。
たとえば、入力文から決められたJSON形式を出力する、問い合わせを独自分類へ振り分ける、専門的な文体で回答する、といった用途です。
GoogleもGemmaのファインチューニングについて、特定タスク、専門領域、カスタマーサービスなどの役割へ適応させる方法として説明しています。
現在はLoRAやQLoRAを使い、モデル全体を更新せず、追加部分を中心に学習する方法も普及しています。
Googleは16GBのNVIDIA T4と小型Gemmaを使ったQLoRAの実例を公開していますが学習データの作成と評価は依然として必要です。
「会社の最新情報を覚えさせたい」という理由だけなら、ファインチューニングよりRAGの方が管理しやすい場合が多いでしょう。
学習済みの事実を後から削除・修正するのは難しい一方、RAGなら参照資料を差し替えられます。
モデルをゼロから作る事前学習はローカルLLMの一般的な導入とは切り分ける必要があります。
事前学習では大量のテキスト、データの権利確認、分散学習環境、多数のGPU、学習後の評価、安全性調整などが求められます。
個人や一般企業が社内AIを導入するために、ここから始める合理性はほとんどありません。
まず完成済みモデルを試し、プロンプト、RAG、必要に応じた軽量チューニングへ進む方が現実的です。
ローカルLLMを調べると、Q4、Q5、8bit、4bitといった表記が現れます。
これらは主に量子化の方法や精度を示しています。
モデルの重みは一般にFP32、FP16、BF16などの数値形式で保存されます。
量子化は、それをint8やint4などの低い精度で表現し、保存容量と実行時のメモリ消費を減らす技術です。
Hugging Faceも、量子化によって重みを低精度で保存し、モデル読み込み時のメモリ要件を抑えられると説明しています。
4bitにすれば、同じモデルをより小さなメモリで動かせます。
一方で、圧縮を強くするほど出力品質が変化する可能性もあります。
速度も必ず向上するとは限らず、CPU、GPU、推論エンジン、量子化方式との組み合わせに左右されます。
初めてGGUFモデルを選ぶなら、一般にはQ4またはQ5付近が容量と品質のバランスを取りやすい出発点になります。
ただし、モデル提供者が推奨する形式がある場合はそちらを優先すべきです。
初めてローカルLLMを使うなら、LM StudioのようなGUIアプリから始める方法が分かりやすいでしょう。
LM Studioには、対応モデルを検索してダウンロードする機能があります。
モデルを選び、読み込んだ後は一般的なチャットAIに近い画面から質問できます。
Hugging Face上の対応モデルを検索でき、ユーザー名とモデル名、またはHugging FaceのURLを指定することも可能です。
導入手順は、おおむね次の通りです。
この段階ではPythonやコマンド操作を覚える必要はありません。
モデルを切り替えながら、自分のPCでどの規模まで快適に動くかを確認できます。
Ollamaはターミナル操作とAPI連携を中心にローカルモデルを管理するツールです。
Windows、macOS、Linuxへ導入でき、モデルを取得すると、標準でlocalhost:11434からAPIを利用できます。
一般的な流れは次の通りです。
OllamaはOpenAI APIの一部と互換性を持つため、既存アプリの接続先をローカル環境へ変更できる場合があります。
ただし、Ollamaにはローカルモデルだけでなく、クラウドへ処理を送るクラウドモデルもあります。
Ollamaを使っているからといって、必ず端末内で処理されるとは限りません。
データをローカルに留めたい場合は、取得したローカルモデルを指定しているか確認する必要があります。
モデルの読み込み方法、GPUへ割り当てる層数、コンテキスト長、バッチサイズ、APIサーバーなどを細かく制御したい場合はllama.cppやHugging Face Transformersが候補になります。
llama.cppはローカルLLMで広く使われるGGUF形式と関係が深く、CPUだけの実行やCPU・GPUを組み合わせた実行にも使われます。
Transformersは、Safetensors形式のモデル、各種量子化、ファインチューニング、Pythonアプリへの組み込みなどに向いています。
この段階になると、モデルごとのチャットテンプレート、GPUドライバー、ライブラリのバージョン、依存関係なども理解する必要があります。
単にチャットを試す目的なら、最初から選ぶ必要はありません。
ローカルLLMの動作条件で中心になるのが、RAMとVRAMです。
RAMはPC全体が利用するメインメモリ、VRAMは主にGPUが利用する専用メモリです。
モデル全体または多くの層をVRAMへ載せられると、一般に生成速度を上げやすくなります。
VRAMへ入りきらない部分をRAMやCPUへ回す構成も可能ですが速度は低下しやすくなります。
Apple Silicon搭載Macでは、CPUとGPUがユニファイドメモリを共有します。
そのため、一般的なWindows PCの「RAM 32GB、VRAM 8GB」と単純には比較できません。
ただし、macOSやアプリが使用する分もあるため、搭載メモリの全量をモデルへ割り当てられるわけではありません。
必要なメモリは、モデルの総パラメータ数、量子化、コンテキスト長、アーキテクチャ、画像入力の有無などによって変わります。
以下は4bit前後の量子化モデルを想定した大まかな目安であり、動作を保証する数値ではありません。
LM Studioは、Windows環境では16GB以上のRAMと4GB以上の専用VRAMを推奨しています。
これはアプリを利用するための一般的な推奨値であり、すべてのモデルを快適に動かせるという意味ではありません。
モデルファイルがストレージへ保存できても、実行時に必要なメモリが足りるとは限りません。
さらに、会話履歴が長くなるほどKVキャッシュと呼ばれる領域が増え、追加のメモリを使用します。
長いコンテキストへ対応したモデルでも、最大長を個人PCで常用できるとは限らない点に注意が必要です。
ローカルLLMでチャットを始めるだけなら、現在の難易度はそれほど高くありません。
難しくなるのは文書検索、アプリ連携、社内共有、チューニングへ範囲を広げたときです。
ローカルLLMの代表的な利点は入力内容と推論処理を自分の管理下へ置けることです。
外部APIへ文章を送らずに処理できるため、未公開資料、個人メモ、社内文書、ソースコードなどを扱う際の選択肢が増えます。
通信を遮断した環境へモデルと必要ソフトを事前に用意し、完全オフラインで利用する構成も可能です。
データ保存場所、ログの保持期間、モデルの更新時期を自分で決められる点もクラウドサービスとの違いです。
ただし、ローカルであることと安全であることは同義ではありません。
端末がマルウェアへ感染していたり、チャットログが共有フォルダへ保存されていたりすれば情報が漏れる可能性は残ります。
クラウドAPIは入力・出力トークン、画像、ツール利用などに応じて費用が発生します。
大量の定型処理を継続する場合、ローカル環境へ置き換えることで処理回数に比例するAPI料金を減らせる可能性があります。
一方、ローカルLLMが無料で運用できるわけではありません。
GPUやPCの購入費、電力、保守、人件費がかかります。
利用頻度が低い場合は高価な端末を購入するより、クラウドAIを必要なときだけ利用する方が安くなることもあります。
費用は「API料金がないか」ではなく、一定期間の総所有コストで比較すべきです。
クラウドAIは提供者によるモデル更新、名称変更、仕様変更、提供終了の影響を受けます。
ローカル環境では特定バージョンのモデルと推論ソフトを保存し、同じ組み合わせを継続して使用できます。
出力の再現性を重視する検証、長期間運用する社内システム、ネットワーク障害時の代替環境などでは、この固定性が役立ちます。
もっとも古いモデルを固定し続ければ、不具合や脆弱性、性能不足も残ります。
更新しない自由と、更新を判断する責任は表裏一体です。
ローカル環境では量子化、コンテキスト長、システム指示、サンプリング設定、RAG、LoRA、推論エンジンなどを用途に合わせて変更できます。
さらに、LM StudioやOllamaはローカルAPIとして動かせるため、既存のチャット画面、業務ツール、エディター、スクリプトから呼び出す構成も作れます。
LM StudioはREST、Python、TypeScriptに加え、OpenAI互換やAnthropic互換のエンドポイントを提供しています。
クラウドAIでは、端末性能が低くても高性能なモデルを利用できます。
ローカルLLMではモデルを載せるメモリと推論を行う計算性能が必要です。
小型モデルは軽快に動く一方、複雑な推論、長文理解、高度なコード生成では大型モデルやクラウドの最上位モデルに及ばない場合があります。
大きなモデルを無理にCPUだけで動かすと、回答を待つ時間が長くなり、日常利用に向かなくなることもあります。
「起動できる最大モデル」ではなく「必要な速度で繰り返し使えるモデル」を選ぶ視点が欠かせません。
モデル、推論エンジン、GPUドライバー、アプリには、それぞれ更新があります。
新しいモデルが同じ形式へ対応していないこともあり、アップデートによって挙動が変わる可能性もあります。
個人利用では問題が起きたらモデルを入れ直せば済むかもしれません。
社内利用では、バージョン管理、バックアップ、障害対応、権限管理、利用者サポートまで必要です。
クラウドAIの利用料にはこうした運用を提供者へ任せられる価値も含まれています。
OllamaのローカルAPIは、localhostから利用する場合に認証を必要としません。
自分の端末内だけで利用するなら扱いやすい仕様ですがネットワーク公開時には別途アクセス制御を考える必要があります。
社内LANへ公開する場合も次の項目を確認したいところです。
外部サービスへ送らないことでリスクを減らせても、セキュリティ管理が不要になるわけではありません。
モデルを無料でダウンロードできても、すべての用途へ無条件で使えるとは限りません。
商用利用、再配布、派生モデルの公開、禁止用途、利用者数、表示義務などはモデルごとのライセンスによって異なります。
同じシリーズでも、モデルや公開時期によって条件が変わる可能性があります。
gpt-ossやQwen3の公開モデルにはApache 2.0が採用されていますがGemmaやLlamaにはそれぞれ独自の利用条件があります。
業務へ組み込む場合は、紹介記事やモデル一覧の説明だけで判断せず、実際に取得するモデルのライセンスとモデルカードを確認する必要があります。
初心者向けモデルと聞くと、操作が簡単なモデルを想像しがちです。
しかし、モデルファイル自体の操作方法はLM StudioやOllamaを使えば大きく変わりません。
実際の選択を左右するのは主に次の要素です。
初心者には小型モデルが向きますが、それは能力が低いからではなく、ダウンロード、起動、比較、失敗からのやり直しが容易だからです。
Gemma 4の小型モデルは、限られた計算資源でローカルAIを試したい場合の候補です。
GoogleはGemmaをクラウドだけでなくノートPCや端末上でも利用できるオープンモデル群として提供しています。
Gemma 4には小型構成があり、モデルごとの推論メモリ目安も公式資料で公開されています。
小型モデルは短い要約、分類、文章の書き換え、定型的な質問応答から試すのに向いています。
画像や音声を扱える構成もありますが、利用するランタイムが各入力形式へ対応しているか確認が必要です。
Qwen3には複数のモデルサイズがあり、思考を伴うモードと速度を重視する非思考モードを切り替えられます。
多言語対応、ツール利用、コードや数学を含む広い用途を想定したモデル群で公開モデルにはApache 2.0が採用されています。
4B級は、16GB前後のメモリを搭載したPCで最初に試す候補になります。
ただし、日本語品質は質問の種類や量子化によって変わるため、文章作成、要約、コードなど、実際の用途に近い入力で比較した方が確実です。
Llama 3.2 3Bは、軽量なテキスト処理を試したい場合の候補です。
最新のLlama 4はMoE構成の大型モデルで一般的な個人PCへそのまま載せる用途には向きにくいため、軽量端末では旧世代の小型モデルにも選択肢が残ります。
Llamaの公式サイトではLlama 3.1、3.2、3.3とLlama 4がそれぞれ公開されています。
新しい世代だから常にローカル用途で優れているとは限りません。
端末へ収まるサイズ、対応ランタイム、実際の生成速度を優先する必要があります。
小型モデルでは回答の深さが足りないものの、巨大モデルを動かす環境までは用意できない場合、Qwen3の8Bや14B級が候補になります。
文章処理、RAG、コード支援、ツール呼び出しなどへ用途を広げやすく、複数の量子化を比較しながら自分の端末へ合わせられます。
8B級は16GBから32GB、14B級は32GB以上を目安に検討しやすいものの、必要容量は量子化やコンテキスト長によって変わります。
Gemma 4 12Bは、小型モデルより高い能力を求めつつ、個人向けワークステーションや大容量メモリ搭載PCで運用したい場合の候補です。
GoogleはGemmaモデルについて、利用可能なハードウェアとPythonかデスクトップアプリかといった操作方法に応じて実行環境を選ぶよう案内しています。
LM Studioとの公式連携ガイドも公開されています。
モデル本体の推論メモリだけでなく、コンテキスト、画像入力、アプリ、OSが使う容量も見込む必要があります。
gpt-oss-20bはローカルまたは専門用途を想定したOpenAIのオープンウェイト推論モデルです。
総パラメータは約21Bですが、MoE構造により、トークンごとのアクティブパラメータは3.6Bです。
OpenAIは、16GBメモリを搭載したエッジ端末でも実行可能なモデルとして説明しています。
推論、ツール利用、関数呼び出しを含む用途に向きますが、学習データは主に英語中心と説明されています。
日本語の自然さや専門文章への適性は、利用前に実データで検証した方がよいでしょう。
OpenAIはLM StudioやOllamaでgpt-ossをローカル実行する公式ガイドも公開しています。
Qwen3の30B-A3BはMoEモデルで、トークンごとに利用するパラメータを抑えながら、総パラメータ数を大きくした構成です。
ここで注意したいのは「A3Bだから3Bモデルと同じメモリで動く」という意味ではないことです。
計算時に有効になるパラメータが少なくても、モデル全体の重みを保存し、実行環境へ読み込むための容量が必要です。
32B級のDenseモデルも含め、個人PCでは大容量メモリや高VRAM GPUが求められます。
長文処理、コード、RAG、エージェント開発など、用途を明確にしたうえで導入するモデルです。
Gemma 4 31Bは複雑な文章処理、コーディング、長いコンテキスト、高品質なローカル推論を求める環境の候補です。
GoogleはGemma 4各モデルの量子化別メモリ目安を公開していますが、数値はモデルの読み込みを中心とした概算です。
実際にはKVキャッシュ、ランタイム、入力形式、OSなどの追加領域を考慮しなければなりません。
gpt-oss-120bは総パラメータ約117B、トークンごとのアクティブパラメータ5.1BのMoEモデルです。
OpenAIは単一の80GB GPUで動作可能な構成として説明しており、個人向けノートPCより、GPUワークステーションやデータセンターでの利用が中心になります。
Apache 2.0で提供され、自前インフラ上で推論や調整を行える点は魅力ですが、導入費、GPUメモリ、冷却、電力、同時利用設計まで含めて検討する必要があります。
Llama 4 ScoutとMaverickは、事前学習版と指示調整版が用意されたMoEモデルです。
ネイティブなマルチモーダル処理や長いコンテキストを特徴としますが、一般的なPCで手軽に動かす小型モデルではありません。
Llama系をローカルで使いたいからといって、最新世代だけを見る必要はありません。
軽量性を優先するならLlama 3.x、小規模サーバー以上で高機能を求めるならLlama 4というように世代とモデル規模を分けて判断します。
以下は、2026年7月時点で検討しやすい代表例です。
実際の配布状況、量子化、対応ランタイム、ライセンスは、ダウンロード時に再確認してください。
ランキングだけでモデルを決めると、端末へ入らない、遅すぎる、用途に合わないといった問題が起こります。
導入前には少なくとも以下を確認したいところです。
すべての処理をローカルへ移す必要はありません。
機密文書の分類や要約はローカル、小型モデルでは難しい推論や最新情報の検索はクラウドというように、処理内容で使い分ける方法があります。
日常的な定型処理をローカルへ回し、難しい案件だけ高性能APIへ送れば、費用と品質のバランスを取りやすくなります。
導入判断では、「ローカルかクラウドか」という二者択一より、どのデータと処理をどこへ置くかを考える方が現実的です。
ローカルLLMは、AIモデルを自分でゼロから育てる仕組みではありません。
多くの場合、すでに学習を終えたGemma、Qwen、Llama、gpt-ossなどを取得し、LM StudioやOllamaで動かすところから始まります。
手元の資料を使いたいなら、まずRAGを検討します。
特定の回答形式や専門タスクを定着させたい場合にファインチューニングが候補になります。
ゼロからの事前学習は、通常のローカルLLM導入とは別の大規模開発です。
導入の入口は以前より大幅に簡単になりました。
しかし、モデルを快適に使えるかどうかは、RAM、VRAM、量子化、コンテキスト長、推論エンジンに左右されます。
最初から最大のモデルを狙うより、小型モデルで端末との相性と用途を確認し、不足が見えた段階でモデルやハードウェアを上げる方が失敗を減らせます。
プライバシー、費用、自由度に魅力がある一方、保守、セキュリティ、ライセンスも利用者側の責任になります。
ローカルLLMが適しているかは、「外部へ出したくないデータがあるか」「繰り返し処理が多いか」「モデルを管理する体制があるか」という三点から判断すると整理しやすいでしょう。
.png){kind=logo}
