Hvor meget hukommelse der skal til for at køre en åben model lokalt

En model med åbne vægte er en fil. Det afgørende spørgsmål for, om du kan bruge den, er jordnært: passer filen ind i din machines hukommelse, på én gang? Grafikkortet, processoren og benchmarkscores kommer først dernæst. Hvis vægtene ikke kan være der, betyder intet andet noget.

Det spørgsmål blev sværere i 2026. De stærkeste åbne modeller er nu meget store og meget sparsomme på samme tid. En model kan rumme tre fjerdedele af en billion vægte og kun berøre en fyrretyvendedel af dem for at generere hvert ord. Den kører langt hurtigere, end størrelsen antyder, og den kræver stadig hver eneste byte af den størrelse i hukommelsen.

Samlet antal parametre afgør regningen. Aktive parametre afgør hastigheden.

Næsten alle førende åbne modeller bruger nu en blanding af eksperter. Modellen er opdelt i mange små specialistnetværk. For hvert token vælger en router nogle få af dem. GLM-5.3 rummer 744B parametre og bruger omkring 40B pr. token.¹ DeepSeek-V4.1-Flash rummer en 552B rygrad og aktiverer 8B parametre, mens den læser, og 16B, mens den skriver.⁶

Tænk på det som et referencebibliotek. Du læser nogle få sider for at besvare et spørgsmål, så svaret kommer hurtigt. Du har stadig brug for hyldeplads til hver bog, fordi du ikke på forhånd ved, hvilke sider du får brug for. Routeren skifter mening for hvert token.

Det er derfor, at en 744B model overhovedet kan bruges på en enkelt maskine, og hvorfor den maskine stadig har brug for hundreder af gigabyte.

Hvad kvantisering egentlig koster

Kvantisering gemmer hver vægt i færre bits. Det er det vigtigste værktøj, du har. GLM-5.3 bruger 810GB hukommelse ved 8-bit og 223GB ved 1-bit — den samme model, en fjerdedel af pladsen.¹

To ting er lette at tage fejl af. Det første er, at filstørrelsen på disken ikke er hukommelsesangivelsen. Du skal også have konteksten og arbejdstilstanden i hukommelsen, så den samlede mængde ligger over overførslen. Unsloths offentliggjorte tabeller tager højde for dette, og derfor viser deres hukommelseskolonne højere tal end deres filkolonne.

Det andet er, at nøjagtigheden falder, når bitsene skæres væk, og den falder ikke blidt i bunden. I Unsloths egne målinger bevarer GLM-5.3 94.29% top-1 nøjagtighed ved 4-bit, 80.93% ved 2-bit og 72.56% ved 1-bit.¹ Den 1-bit build er en måde at se modellen køre på. Det er ikke den model, du ville sætte bag reelt arbejde.

Tre måder at nå tallet på

Én pulje af samlet hukommelse. På Apple silicon deler processoren og grafikken den samme hukommelse, så en Mac Studio M3 Ultra 512GB kan give næsten det hele til en model. Det er den enkleste vej til høj kapacitet og også den mest støjsvage. Det er også loftet: 512GB er den mest samlede hukommelse, Apple sælger, på M3 Ultra i dag og på den nyere M5 Ultra, hvis 512GB-konfiguration først er forventet sidst i oktober.⁷ At vente giver dig ikke mere kapacitet.

Et grafikkort plus system-RAM. Mixture-of-experts-modeller fordeler sig pænt. Attention-lagene, som hver token berører, lægges på grafikkortet. Ekspertlagene, som er store, men sjældent læses, bliver i systemhukommelsen. I llama.cpp styrer flaget --n-cpu-moe, hvor opdelingen falder. Det er den billigste måde at nå høj kapacitet på, og den flytter flaskehalsen til hastigheden på din DDR5, fordi når eksperterne ligger i systemhukommelsen, er deres læsehastighed din hukommelsesbåndbredde. En workstation-platform med otte kanaler er her langt vigtigere end logoet på grafikkortet.

Alt i VRAM. Den hurtigste og den dyreste. Fire NVIDIA RTX PRO 6000-kort giver 384GB. HelixML målte GLM-5.3-Flash på fire RTX PRO 6000 Server Edition-kort til 63.7 output-tokens i sekundet for en enkelt forespørgsel, stigende til 82.8 med speculative decoding — og rapporterede, at det overhovedet krævede en fastgjort eksperimentel build at nå dertil.⁸ Support på dag nul til en ny arkitektur er sjældent klar.

Kontekst er ikke gratis

Hver model i tabellen ovenfor annoncerer et kontekstvindue på en million tokens. At holde den kontekst kræver sin egen hukommelse, adskilt fra vægtene, og det er den linje, folk glemmer, når de dimensionerer en maskine. Hvor meget afhænger helt af arkitekturen. DeepSeek oplyser 890 bytes per token for V4.1-Flash, som holder en hel million tokens under en gigabyte.⁶ Ældre design er langt tungere. Dimensionér til vægtene, og lad så være rigtig luft oveni.

Stigen

Læs tabellen som en indkøbsliste, og den falder i fire trin.

Op til omkring 32GB kører de gode små modeller. Qwen3.8-27B kræver 17GB ved 4-bit og har vision og reasoning indbygget.⁴ Ét workstation-grafikkort dækker dette, og det er mere kapabelt, end tallet antyder.

Omkring 256GB er det her, frontlinjen begynder. DeepSeek-V4-Flash passer tabsfrit i 169GB, så du kører modellen præcis, som dens ophavsmænd udgav den, uden noget spørgsmål om nøjagtighed overhovedet.² MiniMax M3 passer ved 3-bit.³

512GB er det interessante trin i september 2026. Det er her GLM-5.3 kører ved 4-bit med sin nøjagtighed intakt, og hvor community-4/8-bit-builden af DeepSeek-V4.1-Flash ligger. En Mac Studio M3 Ultra 512GB når hertil i én boks i dag. En Neox Metal når hertil med 512GB ECC RDIMM og et kort til at holde attention-lagene.

Forbi 512GB bygger du snarere end køber. Kimi K3 kræver 610GB ved 1-bit og 1.6TB for at køre tabsfrit.⁵ Det er otte-kanals registered ECC-hukommelse på en workstation-platform og en samtale om, hvad modellen skal bruges til.

De konkrete modeller vil ændre sig — tre af de seks i den tabel eksisterede ikke i juni. Regnestykket vil ikke. Find det samlede parametertal, vælg en kvantisering, du kan stå inde for, læg konteksten til, og køb kapaciteten. For hvad hver aktuelle model kræver i detaljer, se vores noter om GLM-5.3 og DeepSeek V4.1-Flash.