ローカルLLMの構成の選び方｜完全オンプレミス・国内リージョン＋閉域接続・組み合わせ

構成の選び方が問われるようになった理由

IPAの「情報セキュリティ10大脅威 2026」（組織編）では、「AIの利用をめぐるサイバーリスク」が初めて3位に入りました。AIに渡したデータの扱いが、組織のリスクとして扱われるようになっています。

一方で、「社外に出せないから完全オンプレミス」と決めてしまうと、精度・費用・運用の手間で後から困ることがあります。データの区分ごとに、置き場所を選ぶのが確実です。

3つの構成

	完全オンプレミス	国内リージョンのクラウド＋閉域接続	組み合わせ
データの置き場所	社内のサーバー・PCだけ	国内のデータセンター（専用の閉域接続）	機密のデータは社内、それ以外はクラウド
使えるAIモデル	公開されているモデル（ローカルLLM）	クラウドの最新のモデルも使える	用途ごとに使い分け
精度	業務を絞って学習させれば高くできる	汎用の業務で高い	両方のよいところを取れる
初期の準備	GPUサーバーなどの用意が要る	比較的少ない	中くらい
運用の手間	モデルの更新・機器の保守が要る	少ない	中くらい
向いている例	外部と接続できない環境、未公開の設計情報	社外秘だが、国内での保管が認められているデータ	部署やデータの機密度が混在している

多くは「国内リージョン＋閉域接続」で足りる

社内の規程を読み直すと、「社外に出してはいけない」ではなく、「国内で保管し、学習に使われず、通信経路が守られていればよい」と定めている会社が少なくありません。この場合は、国内リージョンのクラウドに閉域で接続する構成で要件を満たせ、最新のモデルを使えて、機器の保守も要りません。

完全オンプレミスを選ぶのは、次のような場合です。

• 工場・研究所・行政の基幹網など、外部と一切つなげない環境で使う
• 規程や契約で、データを社外の設備に置けないと決まっている
• 業務を絞り、学習させた小さなモデルで足りることが分かっている

決める順番

1. データの区分を決める。「社外に出せない」「国内なら置ける」「外に出してよい」に分けます。社外に出せないデータがなければ、完全オンプレミスの検討は要りません。
2. 求める精度を確かめる。社外に出せないデータを扱う業務で、公開されているモデルでも精度が出るかを、正解データで測ります。業務を絞れば、学習させたローカルのモデルがクラウドの最先端モデルを上回ることもあります。
3. 同時に使う人数を見積もる。GPUの規模は、同時に処理する件数で決まります（次の節）。
4. 運用できる人員を確かめる。モデルの更新、機器の保守、障害時の対応を誰が担うかを決めます。担えないなら、組み合わせの構成で社内に置く範囲を絞ります。

GPUの規模の計算の仕方

GPUに要るメモリは、おおよそ次の3つの合計です。

中身	計算の仕方
モデルの重み	パラメータ数 × 1パラメータあたりのバイト数（16ビットなら2、8ビットなら1、4ビットなら0.5）
文脈を覚えておく領域（KVキャッシュ）	1回に扱う文章の長さ × 同時に処理する件数に比例して増える
余裕	実行のための作業領域。実機で測って決める

たとえば300億パラメータのモデルなら、重みだけで16ビットでは約60GB、4ビットに量子化すると約15GBです。量子化すると精度が落ちることがあるため、正解データで量子化の前後を比べてから決めます。

同時に処理する件数は、利用者の総数ではなく、混み合う時間帯の依頼の数で見積もります。1分間に届く依頼の数 × 1件の処理時間（分）が、同時に処理する件数の目安です。1分間に20件届き、1件に30秒かかるなら、同時に約10件です。

最後に、候補の機器で「1秒あたりに出せる文字数」を、同時の件数をかけた状態で実際に測ります。机上の計算だけで機器を決めないことが大切です。

AIエージェントを載せるときに足すもの

AIエージェントは自分でシステムを操作するため、モデルを社内に置くだけでは足りません。総務省・経済産業省の「AI事業者ガイドライン」第1.2版（2026年3月）も、AIエージェントについての記述を加えています。

• 権限を絞る。業務に要るシステム・フォルダ・操作だけを渡します。
• 使える道具を決めておく。呼び出せるツールと接続先を許可したものに限り、それ以外の外部通信は遮断します。
• 戻しにくい操作は人が承認する。登録・送信・削除の前に、担当者の承認を挟みます。
• 読んだ文書の指示に従わない。メールや書類に紛れた指示で動かないよう、指示と資料を分けて扱います。
• すべての操作を記録する。誰が何を頼み、AIが何を読んで何をしたかを残します。
• モデルの更新も社内で。インターネットにつながない環境でも、検証したモデルを決まった手順で入れ替えられるようにします。

社内だけで動かした例

• 手書き帳票の読み取り：書かれたとおりに読むよう学習させたモデルを社内のサーバーだけで動かし、手書き帳票130枚・7,660項目の完全一致の採点で、クラウドの最先端モデル4つを上回りました（お知らせを見る）。パソコン1台で動くCPU版もあります（お知らせを見る）。
• 閉域網のPCでのRPA：同梱したローカルLLMで書類の読み取り・分類・要約を行い、決まった手順で入力します。詳しくはインターネットにつながないPCで、RPAに生成AIを使う方法で解説しています。

ジンベイのローカルLLM・閉域AIの構築

ジンベイのローカルLLM・閉域AIの構築では、データの区分を決めるところから始め、3つの構成から要件に合うものを選んで、AIエージェントの権限・承認・記録まで設計します。業務を絞ってモデルを学習させる場合は、ファインチューニングと組み合わせます。