ローカルでオープンモデルを実行するのに必要なメモリ量

オープンウェイトモデルはファイルです。使えるかどうかを決める問いは地味です。ファイル全体が、機械のメモリに一度に収まるかどうか。それだけです。グラフィックスカード、プロセッサ、ベンチマークスコアはその次です。重みが収まらなければ、他のことは何も重要ではありません。

その問いは2026にさらに難しくなりました。最強のオープンモデルは、今や非常に大規模であると同時に非常に疎です。あるモデルは、3/4兆の重みを保持しながら、各単語を生成するためにその40分の1しか使いません。サイズから想像されるよりはるかに高速に動作しますが、それでもそのサイズの全バイト分をメモリ上に必要とします。

総パラメータがコストを決めます。アクティブパラメータが速度を決めます。

現在、フロンティア級のオープンモデルのほぼすべてが mixture of experts を採用しています。モデルは多くの小さな専門ネットワークに分割されます。各トークンごとに、ルーターがそのうちのいくつかを選びます。GLM-5.3は744Bのパラメータを持ち、トークンごとに約40Bを使用します。¹ DeepSeek-V4.1-Flash は552Bのバックボーンを持ち、読み取り時は8Bのパラメータをアクティブにし、書き込み時は16Bします。⁶

参考図書館のようなものだと考えてください。質問に答えるために数ページだけ読むので、答えはすぐに得られます。ただし、どのページが必要になるか事前には分からないので、すべての本のための棚スペースは必要です。ルーターはトークンごとに判断を変えます。

だからこそ、744Bモデルが単一マシンで実用になるのです。そして、そのマシンにそれでも数百GBが必要な理由でもあります。

量子化の本当のコスト

量子化は、各重みをより少ないビット数で保存します。これが最も重要な手段です。GLM-5.3は810GBのメモリを8-bitで、223GBを1-bitで使用します。つまり同じモデルで、フットプリントは4分の1です。¹

間違えやすい点は2つあります。1つ目は、ディスク上のファイルサイズはメモリ量ではないということです。さらにコンテキストと作業状態も保持するため、実際の使用量はダウンロードサイズを上回ります。Unsloth が公開している表はこの点を考慮しているため、メモリ欄の数値はファイル欄より高くなっています。

2つ目は、ビット数を減らすほど精度が落ちること、しかも下限ではその落ち方が穏やかではないことです。Unsloth 自身の測定では、GLM-5.3は94.29%の top-1 精度を4-bitで、80.93%を2-bitで、72.56%を1-bitで維持しています。¹ 1-bit版は、モデルが動くところを見るためのものです。実運用の裏側に置くモデルではありません。

1. Qwen3.8 27B19GB
2. V4-Flash169GB
3. MiniMax M3200GB
4. GLM-5.3475GB
5. V4.1-Flash427GB
6. Kimi K3610GB

Qwen3.8-27B は4-bit、DeepSeek-V4-Flash は lossless Q8、MiniMax M3 は3-bit、GLM-5.3 は4-bit、Kimi K3 は dynamic 1-bit で示されており、いずれも Unsloth 公開のメモリ表に基づいています。¹²³⁴⁵ DeepSeek-V4.1-Flash はコミュニティ版 MLX mixed 4/8-bit ビルド、427GB resident として示されています。これは510GBのFP8 weights として提供され、2-bit ビルドでは167GBで動作します。⁶

数値

に到達する3つの方法

統合メモリは1つのプール。 Apple siliconではプロセッサとグラフィックスが同じメモリを共有するため、Mac Studio M3 Ultra 512GBなら、そのほとんどをモデルに割り当てられます。これは大容量に到達する最もシンプルな方法であり、最も静かな方法でもあります。もっとも、上限でもあります。512GBはAppleが販売する統合メモリの最大容量で、現在はM3 Ultra、そしてより新しいM5 Ultraでも提供されていますが、こちらの512GB構成は10月下旬まで登場しません。⁷待っても容量は増えません。

グラフィックスカード＋システムRAM。 Mixture-of-expertsモデルはきれいに分割できます。すべてのトークンが触れるアテンション層はグラフィックスカード上に置きます。大きいが参照されることの少ないエキスパート層はシステムメモリに残します。llama.cppでは--n-cpu-moeフラグで分割位置を制御します。これは大容量に到達する最も安価な方法であり、ボトルネックはDDR5の速度へ移ります。エキスパートがシステムメモリに置かれると、その読み出し速度がメモリ帯域幅になるためです。ここでは、グラフィックスカードの銘柄よりも8チャネルのワークステーションプラットフォームのほうがはるかに重要です。

すべてをVRAMに。 最速で、最も高価です。NVIDIA RTX PRO 6000カードを4枚使えば384GBになります。HelixMLは、4枚のRTX PRO 6000 Server Editionカード上でGLM-5.3-Flashを、単一リクエストで出力63.7トークン/秒、推測デコードでは82.8まで上がると計測し、そこに到達するには固定済みの実験的ビルドが必要だったと報告しています。⁸新しいアーキテクチャへの初日サポートは、たいていまだ準備できていません。

コンテキストは無料ではない

上の表にあるすべてのモデルは、100万トークンのコンテキストウィンドウをうたっています。そのコンテキストを保持するには、重みとは別に独自のメモリが必要であり、マシンの構成を決める際に見落とされがちな要素です。必要量はアーキテクチャ次第です。DeepSeekは890 bytes per token for V4.1-Flashを公開しており、100万トークン全体でも1GB未満に収まります。⁶古い設計ははるかに重くなります。重み用に見積もったうえで、さらに十分な余裕を残してください。

はしご

表を買い物リストとして読むと、4つの段に整理できます。

およそ32GBまでは、良質な小型モデルが動きます。Qwen3.8-27Bには17GBが必要で、4ビットで、視覚機能と推論機能を内蔵しています。⁴この用途は1枚のワークステーショングラフィックスカードでカバーでき、数字以上の性能があります。

約256GBから最前線が始まります。DeepSeek-V4-Flashは169GBにロスレスで収まるため、精度に関する疑問を一切持たずに、開発元が出荷したそのままの形でモデルを正確に実行できます。² MiniMax M3は3-bitで収まります。³

512GBは2026年9月における面白い段差です。GLM-5.3が精度を損なわずに4-bitで動作するのがここであり、コミュニティ版の4/8-bitビルドのDeepSeek-V4.1-Flashが載るのもここです。Mac Studio M3 Ultra 512GBなら、今日のところは1台でそこに到達できます。Neox Metalなら、512GBのECC RDIMMと、アテンション層を保持するためのカードでそこに到達します。

512GBを過ぎると、買うのではなく組む領域です。Kimi K3は、610GBを1-bitと1.6TBでロスレスに動かす必要があります。⁵それは、ワークステーション・プラットフォーム上の8チャネルのregistered ECC memoryであり、モデルが何のためのものかを考える話でもあります。

具体的なモデルは変わります — その表にある6つのうち3つは6月には存在していませんでした。計算は変わりません。総パラメータ数を求め、擁護できる量子化を選び、コンテキストを足して、容量を購入してください。各現行モデルが詳細に何を必要とするかについては、GLM-5.3とDeepSeek V4.1-Flashに関する当社のノートをご覧ください。

出典

1. Unsloth, GLM-5.3: ローカルで実行する方法 — 量子化サイズ、必要メモリ、および量子化ごとのトップ1精度。
2. Unsloth, DeepSeek-V4: ローカルで実行する方法 — DeepSeek-V4-Flash-0731の必要メモリ。
3. Unsloth, MiniMax M3: ローカルで実行する方法。
4. Unsloth, Qwen3.8: ローカルで実行する方法。
5. Unsloth, Kimi K3: ローカルで実行する方法。
6. DeepSeek-V4.1-Flashのモデルカードとファイル一覧、Hugging Face — 552Bバックボーン、8B/16Bアクティブ、510GBが48 FP8シャード全体に分散、トークンごとに890バイトのグローバルKV。
7. Apple, "Apple introduces M6 and M5 Ultra", 2026年8月25日 — 512GBの最大統合メモリ。
8. HelixML, "GLM-5.3-Flash on RTX PRO 6000, Part 1", 2026年8月27日.