Wie viel Speicher braucht man, um ein offenes Modell lokal auszuführen

Ein Open-Weight-Modell ist eine Datei. Die Frage, die darüber entscheidet, ob Sie es nutzen können, ist unspektakulär: Passt die Datei auf einmal in den Speicher Ihres Rechners? Die Grafikkarte, der Prozessor und die Benchmark-Werte kommen erst an zweiter Stelle. Wenn die Gewichte nicht hineinpassen, ist alles andere irrelevant.

Diese Frage ist in 2026 schwieriger geworden. Die stärksten offenen Modelle sind heute gleichzeitig sehr groß und sehr spärlich. Ein Modell kann drei Viertel einer Billion Gewichte enthalten und nur ein Vierzigstel davon berühren, um jedes Wort zu erzeugen. Es läuft viel schneller, als seine Größe vermuten lässt, und es braucht trotzdem jeden Byte dieser Größe im Speicher.

Die Gesamtzahl der Parameter bestimmt die Rechnung. Die aktiven Parameter bestimmen die Geschwindigkeit.

Fast jedes Frontier-Open-Model verwendet inzwischen ein Mixture-of-Experts-Verfahren. Das Modell ist in viele kleine Spezialnetzwerke unterteilt. Für jedes Token wählt ein Router einige davon aus. GLM-5.3 hat 744B Parameter und nutzt etwa 40B pro Token.¹ DeepSeek-V4.1-Flash hat ein 552B-Backbone und aktiviert 8B Parameter beim Lesen und 16B beim Schreiben.⁶

Stellen Sie es sich wie eine Referenzbibliothek vor. Sie lesen ein paar Seiten, um eine Frage zu beantworten, also kommt die Antwort schnell. Sie brauchen trotzdem Regalplatz für jedes Buch, weil Sie im Voraus nicht wissen, welche Seiten Sie brauchen werden. Der Router ändert bei jedem Token seine Meinung.

Darum ist ein 744B-Modell überhaupt auf einer einzelnen Maschine nutzbar, und darum braucht diese Maschine trotzdem Hunderte von Gigabytes.

Was Quantisierung wirklich kostet

Quantisierung speichert jedes Gewicht in weniger Bits. Das ist der wichtigste Hebel, den Sie haben. GLM-5.3 belegt bei 810GB-Bit 8 Speicher und bei 223GB-Bit 1 — dasselbe Modell, ein Viertel der Größe.¹

Zwei Dinge werden leicht verwechselt. Das erste ist, dass die Dateigröße auf der Festplatte nicht dem Speicherbedarf entspricht. Sie halten außerdem den Kontext und den Arbeitszustand vor, also liegt die laufende Gesamtsumme über dem Download. Die veröffentlichten Tabellen von Unsloth berücksichtigen das, weshalb ihre Speicher-Spalte höher ausfällt als ihre Dateigrößen-Spalte.

Das zweite ist, dass die Genauigkeit mit sinkenden Bits abnimmt, und zwar am unteren Ende nicht sanft. Nach den eigenen Messungen von Unsloth behält GLM-5.3 94.29% Top-1-Genauigkeit bei 4-Bit, 80.93% bei 2-Bit und 72.56% bei 1-Bit.¹ Die 1-Bit-Ausführung ist eine Möglichkeit, das Modell laufen zu sehen. Es ist nicht das Modell, das Sie hinter echte Arbeit stellen würden.

Drei Wege, die Zahl zu erreichen

Ein gemeinsamer Speicherpool. Auf Apple Silicon teilen sich Prozessor und Grafik denselben Speicher, sodass ein Mac Studio M3 Ultra 512GB fast alles davon einem Modell zuweisen kann. Das ist der einfachste Weg zu einer großen Kapazität und der leiseste. Es ist aber auch die Obergrenze: 512GB ist der größte gemeinsame Speicher, den Apple verkauft, heute beim M3 Ultra und beim neueren M5 Ultra, dessen 512GB-Konfiguration erst Ende Oktober ansteht.⁷ Warten bringt keine zusätzliche Kapazität.

Eine Grafikkarte plus Systemspeicher. Mixture-of-Experts-Modelle lassen sich sauber aufteilen. Die Attention-Schichten, die jedes Token berühren, kommen auf die Grafikkarte. Die Experten-Schichten, die groß, aber nur selten gelesen werden, bleiben im Systemspeicher. In llama.cpp steuert das --n-cpu-moe-Flag, wo die Aufteilung erfolgt. Das ist der günstigste Weg zu einer großen Kapazität, und er verlagert den Engpass auf die Geschwindigkeit Ihres DDR5, denn sobald die Experten im Systemspeicher liegen, ist deren Lesegeschwindigkeit Ihre Speicherbandbreite. Eine Workstation-Plattform mit acht Kanälen ist hier weit wichtiger als das Label auf der Grafikkarte.

Alles im VRAM. Das schnellste und das teuerste. Vier NVIDIA RTX PRO 6000-Karten liefern 384GB. HelixML hat GLM-5.3-Flash auf vier RTX PRO 6000 Server Edition-Karten mit 63.7 Output-Token pro Sekunde für eine einzelne Anfrage gemessen, steigend auf 82.8 mit spekulativem Decoding — und berichtet, dass es dafür überhaupt einen fest gepinnten Experimental-Build brauchte.⁸ Unterstützung ab Tag eins für eine neue Architektur ist selten bereit.

Kontext ist nicht kostenlos

Jedes Modell in der obigen Tabelle bewirbt ein Kontextfenster von einer Million Tokens. Das Halten dieses Kontexts kostet eigenen Speicher, getrennt von den Gewichten, und genau diese Zeile vergessen viele, wenn sie eine Maschine dimensionieren. Wieviel das ist, hängt vollständig von der Architektur ab. DeepSeek veröffentlicht 890 Bytes pro Token für V4.1-Flash, das eine volle Million Tokens unter einem Gigabyte hält.⁶ Ältere Designs sind deutlich schwerer. Dimensionieren Sie für die Gewichte und lassen Sie dann echten Spielraum darüber hinaus.

Die Leiter

Lesen Sie die Tabelle als Einkaufsliste, und sie ordnet sich in vier Stufen.

Bis etwa 32GB laufen die guten kleinen Modelle. Qwen3.8-27B braucht 17GB bei 4-Bit und hat Vision und Reasoning eingebaut.⁴ Eine einzelne Workstation-Grafikkarte deckt das ab, und sie ist leistungsfähiger, als die Zahl vermuten lässt.

Ab etwa 256GB beginnt die Frontier. DeepSeek-V4-Flash passt verlustfrei in 169GB, also führen Sie das Modell exakt so aus, wie seine Autoren es ausgeliefert haben, ganz ohne Genauigkeitsfrage.² MiniMax M3 passt bei 3-Bit.³

512GB ist die interessante Stufe im September 2026. Hier läuft GLM-5.3 bei 4-Bit mit intakter Genauigkeit, und hier sitzt der Community-4/8-Bit-Build von DeepSeek-V4.1-Flash. Ein Mac Studio M3 Ultra 512GB erreicht sie heute in einem Gerät. Ein Neox Metal erreicht sie mit 512GB ECC RDIMM und einer Karte zum Halten der Attention-Schichten.

Jenseits von 512GB bauen Sie eher, als dass Sie kaufen. Kimi K3 braucht 610GB bei 1-Bit und 1.6TB, um verlustfrei zu laufen.⁵ Das sind achtkanaliger registered ECC memory auf einer Workstation-Plattform und ein Gespräch darüber, wofür das Modell gedacht ist.

Die konkreten Modelle werden sich ändern — drei der sechs in dieser Tabelle existierten im Juni noch nicht. Die Mathematik wird es nicht. Ermitteln Sie die gesamte Parameterzahl, wählen Sie eine Quantisierung, die Sie vertreten können, addieren Sie den Kontext und kaufen Sie die Kapazität. Für die genauen Anforderungen jedes aktuellen Modells siehe unsere Hinweise zu GLM-5.3 und DeepSeek V4.1-Flash.