Hur mycket minne som krävs för att köra en öppen modell lokalt

En modell med öppna vikter är en fil. Frågan som avgör om du kan använda den är okomplicerad: får filen plats i maskinens minne, på en gång? Grafikkortet, processorn och benchmarkresultaten kommer först därefter. Om vikterna inte får plats spelar inget annat någon roll.

Den frågan blev svårare under 2026. De starkaste öppna modellerna är nu samtidigt mycket stora och mycket sparsamma. En modell kan innehålla tre fjärdedelar av en triljon vikter och bara använda en fyrtiondel av dem för att generera varje ord. Den kör mycket snabbare än storleken antyder, och den behöver fortfarande varje byte av den storleken i minnet.

Totalt antal parametrar avgör kostnaden. Aktiva parametrar avgör hastigheten.

Nästan varje ledande öppen modell använder nu en blandning av experter. Modellen delas upp i många små specialistnätverk. För varje token väljer en router ut några av dem. GLM-5.3 har 744B parametrar och använder ungefär 40B per token.¹ DeepSeek-V4.1-Flash har en 552B-backbone och aktiverar 8B parametrar medan den läser och 16B medan den skriver.⁶

Tänk på det som ett referensbibliotek. Du läser några sidor för att besvara en fråga, så svaret kommer snabbt. Du behöver ändå hyllutrymme för varje bok, eftersom du inte i förväg vet vilka sidor du kommer att behöva. Routern ändrar sig för varje token.

Det är därför en 744B-modell över huvud taget är användbar på en enda maskin, och varför den maskinen ändå behöver hundratals gigabyte.

Vad kvantisering egentligen kostar

Kvantisering lagrar varje vikt i färre bitar. Det är den viktigaste spaken du har. GLM-5.3 använder 810GB av minnet vid 8-bit och 223GB vid 1-bit — samma modell, en fjärdedel av fotavtrycket.¹

Två saker är lätta att få fel. Den första är att filstorleken på disk inte är minnesvärdet. Du behöver också hålla kontexten och det arbetsmässiga tillståndet, så totalsumman vid körning ligger över nedladdningen. Unsloths publicerade tabeller tar hänsyn till detta, vilket är varför deras minneskolumn visar högre värden än deras filkolumn.

Den andra är att precisionen sjunker när bitarna minskar, och den sjunker inte varsamt i botten. I Unsloths egna mätningar behåller GLM-5.3 94.29% topp-1-precision vid 4-bit, 80.93% vid 2-bit och 72.56% vid 1-bit.¹ Den 1-bitars byggnaden är ett sätt att se modellen köra. Det är inte den modell du skulle sätta bakom verkligt arbete.

Tre sätt att nå siffran

En pool av enhetligt minne. På Apple silicon delar processorn och grafiken samma minne, så en Mac Studio M3 Ultra 512GB kan ge nästan allt till en modell. Det här är den enklaste vägen till hög kapacitet, och den tystaste. Det är också taket: 512GB är det mesta enhetliga minne Apple säljer, på M3 Ultra i dag och på den nyare M5 Ultra vars 512GB konfiguration inte väntas förrän i slutet av oktober.⁷ Att vänta ger dig inte mer kapacitet.

Ett grafikkort plus system-RAM. Modeller med mixture-of-experts delas upp snyggt. Attention-lagren, som varje token berör, ligger på grafikkortet. Expertlagren, som är stora men sällan läses, stannar i systemminnet. I llama.cpp styr flaggan --n-cpu-moe var delningen hamnar. Det här är det billigaste sättet att nå hög kapacitet, och det flyttar flaskhalsen till hastigheten i din DDR5, eftersom när experterna väl finns i systemminnet är deras läshastighet din minnesbandbredd. En arbetsstationsplattform med åtta kanaler är här mycket viktigare än namnet på grafikkortet.

Allt i VRAM. Det snabbaste och det dyraste. Fyra NVIDIA RTX PRO 6000-kort ger 384GB. HelixML mätte GLM-5.3-Flash på fyra RTX PRO 6000 Server Edition-kort till 63.7 output tokens per second för en enskild förfrågan, ökande till 82.8 med speculative decoding — och uppgav att det krävdes en fastlåst experimentell build för att alls nå dit.⁸ Support från dag noll för en ny arkitektur är sällan redo.

Kontext är inte gratis

Varje modell i diagrammet ovan anger ett kontextfönster på en miljon token. Att hålla den kontexten kostar eget minne, separat från vikterna, och det är raden folk glömmer när de dimensionerar en maskin. Hur mycket beror helt på arkitekturen. DeepSeek publicerar 890 bytes per token för V4.1-Flash, som håller hela en miljon token under en gigabyte.⁶ Äldre konstruktioner är mycket tyngre. Dimensionera för vikterna och lämna sedan ordentligt med marginal ovanpå.

Stegen

Läs diagrammet som en inköpslista så delas det upp i fyra steg.

Upp till ungefär 32GB kör de bra små modellerna. Qwen3.8-27B kräver 17GB vid 4-bit och har inbyggd vision och resonemangsförmåga.⁴ Ett enda workstation-grafikkort klarar detta, och det är mer kapabelt än siffran antyder.

Runt 256GB är där gränsen börjar. DeepSeek-V4-Flash ryms förlustfritt i 169GB, så du kör modellen exakt som dess skapare levererade den utan någon som helst exakthetsfråga.² MiniMax M3 ryms vid 3-bit.³

512GB är det intressanta steget i september 2026. Det är där GLM-5.3 körs vid 4-bit med sin precision intakt, och där communityns 4/8-bit build av DeepSeek-V4.1-Flash ligger. En Mac Studio M3 Ultra 512GB når dit i en enda låda i dag. En Neox Metal når dit med 512GB ECC RDIMM och ett kort för att hålla attention-lagren.

Förbi 512GB bygger du snarare än köper. Kimi K3 behöver 610GB vid 1-bit och 1.6TB för att köras förlustfritt.⁵ Det är åttakanals registered ECC memory på en arbetsstationsplattform, och ett samtal om vad modellen ska användas till.

De specifika modellerna kommer att ändras — tre av de sex i det diagrammet fanns inte i juni. Aritmetiken kommer inte att göra det. Hitta det totala antalet parametrar, välj en kvantisering du kan stå för, lägg till kontexten och köp kapaciteten. För vad varje aktuell modell behöver i detalj, se våra anteckningar om GLM-5.3 och DeepSeek V4.1-Flash.