Hoeveel geheugen is nodig om een open model lokaal uit te voeren

Een open-weight model is een bestand. De vraag die bepaalt of je het kunt gebruiken, is weinig spectaculair: past het bestand in het geheugen van je machine, in één keer? De grafische kaart, de processor en de benchmarkscores komen allemaal op de tweede plaats. Als de weights niet passen, doet de rest er niet toe.

Die vraag werd moeilijker in 2026. De sterkste open modellen zijn nu tegelijk zeer groot en zeer sparse. Een model kan driekwart van een biljoen weights bevatten en slechts een veertigste daarvan aanroepen om elk woord te produceren. Het draait veel sneller dan zijn omvang doet vermoeden, en heeft toch elke byte van die omvang in het geheugen nodig.

Totaal aantal parameters bepaalt de rekening. Actieve parameters bepalen de snelheid.

Bijna elk toonaangevend open model gebruikt tegenwoordig een mixture of experts. Het model is opgedeeld in veel kleine specialistische netwerken. Voor elk token kiest een router er een paar. GLM-5.3 bevat 744B parameters en gebruikt ongeveer 40B per token.¹ DeepSeek-V4.1-Flash bevat een 552B backbone en activeert 8B parameters tijdens het lezen en 16B tijdens het schrijven.⁶

Zie het als een bibliotheek. Je leest een paar pagina's om een vraag te beantwoorden, dus het antwoord komt snel. Je hebt nog steeds plankruimte nodig voor elk boek, omdat je vooraf niet weet welke pagina's je nodig zult hebben. De router verandert van gedachte bij elk token.

Daarom is een 744B model überhaupt bruikbaar op één machine, en daarom heeft die machine nog steeds honderden gigabytes nodig.

Wat kwantisatie werkelijk kost

Kwantisatie slaat elke weight op in minder bits. Dat is de belangrijkste hefboom die je hebt. GLM-5.3 neemt 810GB aan geheugen in bij 8-bit en 223GB bij 1-bit — hetzelfde model, een kwart van de footprint.¹

Twee dingen worden vaak verkeerd ingeschat. Het eerste is dat de bestandsgrootte op schijf niet gelijk is aan de geheugenwaarde. Je houdt ook de context en de werkstatus vast, dus het totaal tijdens het draaien ligt boven de download. De gepubliceerde tabellen van Unsloth houden hiermee rekening, en daarom ligt hun geheugenkolom hoger dan hun bestandskolom.

Het tweede is dat de nauwkeurigheid afneemt naarmate de bits verminderen, en dat gebeurt onderaan niet geleidelijk. Volgens de eigen metingen van Unsloth behoudt GLM-5.3 94.29% top-1 nauwkeurigheid bij 4-bit, 80.93% bij 2-bit en 72.56% bij 1-bit.¹ De 1-bit build is een manier om het model te zien draaien. Het is niet het model dat je achter echt werk zou zetten.

Drie manieren om aan het aantal te komen

Eén pool van uniform geheugen. Op Apple silicon delen de processor en graphics hetzelfde geheugen, dus een Mac Studio M3 Ultra 512GB kan er bijna alles van aan een model geven. Dit is de eenvoudigste weg naar een grote capaciteit, en de stilste. Het is ook het plafond: 512GB is het meest uniforme geheugen dat Apple verkoopt, op de M3 Ultra vandaag en op de nieuwere M5 Ultra waarvan de 512GB configuratie pas eind oktober wordt verwacht.⁷ Wachten levert je geen extra capaciteit op.

Een grafische kaart plus systeem-RAM. Mixture-of-experts-modellen splitsen netjes. De attention-lagen, die elk token raken, komen op de grafische kaart. De expert-lagen, die groot zijn maar zelden worden gelezen, blijven in het systeemgeheugen. In llama.cpp bepaalt de --n-cpu-moe-vlag waar de scheiding valt. Dit is de goedkoopste manier om een grote capaciteit te bereiken, en het verschuift de bottleneck naar de snelheid van je DDR5, want zodra de experts in het systeemgeheugen zitten, is hun leessnelheid je geheugenbandbreedte. Een workstationplatform met acht kanalen is hier veel belangrijker dan het merk op de grafische kaart.

Alles in VRAM. De snelste en de duurste. Vier NVIDIA RTX PRO 6000-kaarten geven 384GB. HelixML mat GLM-5.3-Flash op vier RTX PRO 6000 Server Edition-kaarten op 63.7 output tokens per seconde voor één verzoek, oplopend tot 82.8 met speculative decoding — en meldde dat het überhaupt een vastgepinde experimentele build vergde om daar te komen.⁸ Ondersteuning vanaf dag nul voor een nieuwe architectuur is zelden klaar.

Context is niet gratis

Elk model in de grafiek hierboven adverteert een contextvenster van één miljoen tokens. Die context vasthouden kost op zichzelf geheugen, los van de weights, en dat is de lijn die mensen vergeten wanneer ze een machine dimensioneren. Hoeveel hangt volledig af van de architectuur. DeepSeek publiceert 890 bytes per token voor V4.1-Flash, dat een volle miljoen tokens onder een gigabyte houdt.⁶ Oudere ontwerpen zijn veel zwaarder. Dimensioneer voor de weights, en laat daarboven echte speling over.

De ladder

Lees de grafiek als een boodschappenlijst en hij valt uiteen in vier treden.

Tot ongeveer 32GB draaien de goede kleine modellen. Qwen3.8-27B heeft 17GB op 4-bit nodig en heeft vision en reasoning ingebouwd.⁴ Eén workstation-grafische kaart dekt dit af, en die is capabeler dan het getal doet vermoeden.

Rond 256GB begint het front. DeepSeek-V4-Flash past verliesloos in 169GB, dus je draait het model exact zoals de auteurs het hebben uitgebracht, zonder enige vraag over de nauwkeurigheid.² MiniMax M3 past in 3-bit.³

512GB is in september 2026 de interessante trede. Daar draait GLM-5.3 op 4-bit met zijn nauwkeurigheid intact, en zit de community 4/8-bit build van DeepSeek-V4.1-Flash. Een Mac Studio M3 Ultra 512GB komt daar vandaag in één kast. Een Neox Metal komt er met 512GB aan ECC RDIMM en een kaart om de attention-lagen vast te houden.

Voorbij 512GB bouw je in plaats van te kopen. Kimi K3 heeft 610GB nodig op 1-bit en 1.6TB om verliesloos te draaien.⁵ Dat is achtkanaals geregistreerd ECC-geheugen op een workstationplatform, en een gesprek over waar het model voor dient.

De specifieke modellen zullen veranderen — drie van de zes in die grafiek bestonden in juni nog niet. De rekenkunde niet. Zoek het totale aantal parameters, kies een quantisatie die je kunt verdedigen, tel de context erbij op en koop de capaciteit. Voor wat elk huidig model in detail nodig heeft, zie onze notities over GLM-5.3 en DeepSeek V4.1-Flash.