Hvor mye minne som trengs for å kjøre en åpen modell lokalt

En åpen vektmodell er en fil. Spørsmålet som avgjør om du kan bruke den, er lite glamorøst: får filen plass i minnet på maskinen din, på én gang? Grafikkortet, prosessoren og benchmark-resultatene kommer i andre rekke. Hvis vektene ikke får plass, spiller ingenting annet noen rolle.

Det spørsmålet ble vanskeligere i 2026. De sterkeste åpne modellene er nå både svært store og svært sparsomme på samme tid. En modell kan inneholde tre fjerdedeler av en billion vekter og bare bruke en førtiendedel av dem for å produsere hvert ord. Den kjører langt raskere enn størrelsen tilsier, og den trenger fortsatt hver eneste byte av den størrelsen i minnet.

Totalt antall parametere bestemmer prisen. Aktive parametere bestemmer hastigheten.

Nesten alle ledende åpne modeller bruker nå en blanding av eksperter. Modellen er delt inn i mange små spesialistnettverk. For hver token velger en ruter noen få av dem. GLM-5.3 har 744B parametere og bruker omtrent 40B per token.¹ DeepSeek-V4.1-Flash har en 552B-backbone og aktiverer 8B parametere mens den leser og 16B mens den skriver.⁶

Tenk på det som et referansebibliotek. Du leser noen få sider for å svare på et spørsmål, så svaret kommer raskt. Du trenger fortsatt hylleplass til hver bok, fordi du ikke vet på forhånd hvilke sider du kommer til å trenge. Ruteren ombestemmer seg for hver token.

Dette er grunnen til at en 744B-modell i det hele tatt er brukbar på én enkelt maskin, og hvorfor den maskinen fortsatt trenger hundrevis av gigabyte.

Hva kvantisering egentlig koster

Kvantisering lagrer hver vekt i færre biter. Det er den viktigste spaken du har. GLM-5.3 bruker 810GB minne ved 8-bit og 223GB ved 1-bit — samme modell, en fjerdedel av plassen.¹

To ting er lette å misforstå. Den første er at filstørrelsen på disken ikke er minnebehovet. Du må også ha med konteksten og arbeidsstatusen, så totalen under kjøring ligger over nedlastingen. Unsloths publiserte tabeller tar hensyn til dette, og derfor er minnekolonnen deres høyere enn filkolonnen.

Det andre er at nøyaktigheten faller etter hvert som bitene tas bort, og den faller ikke mildt nederst. I Unsloths egne målinger beholder GLM-5.3 94.29% topp-1-nøyaktighet ved 4-bit, 80.93% ved 2-bit og 72.56% ved 1-bit.¹ Den 1-biters utgaven er en måte å se modellen kjøre på. Det er ikke modellen du ville brukt i reelt arbeid.

Tre måter å nå tallet på

Ett felles minnepoolsystem. På Apple silicon deler prosessoren og grafikken det samme minnet, så en Mac Studio M3 Ultra 512GB kan gi nesten alt til en modell. Dette er den enkleste veien til høy kapasitet, og den mest stillegående. Det er også taket: 512GB er det meste enhetlige minnet Apple selger, på M3 Ultra i dag og på den nyere M5 Ultra, der 512GB-konfigurasjonen ikke kommer før sent i oktober.⁷ Å vente gir deg ikke mer kapasitet.

Et grafikkort pluss system-RAM. Mixture-of-experts-modeller deler seg pent. Oppmerksomhetslagene, som hver token berører, legges på grafikkortet. Ekspertlagene, som er store men sjelden leses, blir liggende i systemminnet. I llama.cpp styrer flagget --n-cpu-moe hvor delingen havner. Dette er den rimeligste måten å nå høy kapasitet på, og det flytter flaskehalsen til hastigheten på DDR5, fordi når ekspertlagene ligger i systemminnet, er lesehastigheten deres minnebåndbredden din. En arbeidsstasjonplattform med åtte kanaler betyr langt mer her enn merkenavnet på grafikkortet.

Alt i VRAM. Den raskeste og den dyreste. Fire NVIDIA RTX PRO 6000-kort gir 384GB. HelixML målte GLM-5.3-Flash på fire RTX PRO 6000 Server Edition-kort til 63.7 utgangstokens per sekund for én forespørsel, stigende til 82.8 med spekulativ dekoding — og rapporterte at det krevde en låst eksperimentell build for å få det til i det hele tatt.⁸ Støtte for en ny arkitektur på dag én er sjelden klar.

Kontekst er ikke gratis

Hver modell i tabellen over oppgir et kontekstvindu på én million tokens. Å holde på den konteksten koster minne i seg selv, separat fra vektene, og det er denne linjen folk glemmer når de dimensjonerer en maskin. Hvor mye avhenger fullt og helt av arkitekturen. DeepSeek oppgir 890 byte per token for V4.1-Flash, som holder en hel million tokens under én gigabyte.⁶ Eldre design er langt tyngre. Dimensjoner for vektene, og legg så til god margin på toppen.

Stigen

Les tabellen som en handleliste, så deler den seg inn i fire trinn.

Opp til omtrent 32GB kjører de gode små modellene. Qwen3.8-27B trenger 17GB ved 4-bit og har visjon og resonnering innebygd.⁴ Et enkelt arbeidsstasjon-grafikkort dekker dette, og det er mer kapabelt enn tallet antyder.

Rundt 256GB er der, hvor frontlinjen starter. DeepSeek-V4-Flash passer tabsløst i 169GB, så du kører modellen præcis, som dens ophavspersoner leverede den, uden noget spørgsmål om nøjagtighed overhovedet.² MiniMax M3 passer ved 3-bit.³

512GB er det interessante trin i september 2026. Det er her GLM-5.3 kører ved 4-bit med sin nøjagtighed intakt, og hvor fællesskabets 4/8-bit-build af DeepSeek-V4.1-Flash ligger. En Mac Studio M3 Ultra 512GB når dertil i én boks i dag. En Neox Metal når dertil med 512GB ECC RDIMM og et kort til at holde opmærksomhedslagene.

Forbi 512GB er du i gang med at bygge i stedet for at købe. Kimi K3 kræver 610GB ved 1-bit og 1.6TB for at køre tabsløst.⁵ Det er ottekanals registreret ECC-hukommelse på en workstation-platform, og en samtale om, hvad modellen skal bruges til.

De konkrete modeller vil ændre sig — tre af de seks i det diagram fandtes ikke i juni. Aritmetikken vil ikke. Find det samlede antal parametre, vælg en kvantisering, du kan stå inde for, læg konteksten til, og køb kapaciteten. For hvad hver aktuelle model kræver i detaljer, se vores noter om GLM-5.3 og DeepSeek V4.1-Flash.