Kuinka paljon muistia tarvitaan open-mallin ajamiseen paikallisesti

Open-weight-malli on tiedosto. Kysymys, joka ratkaisee, voitko käyttää sitä, on arkinen: mahtuuko tiedosto koneesi muistiin kerralla? Näytönohjain, prosessori ja vertailutulokset tulevat vasta sen jälkeen. Jos painot eivät mahdu, mikään muu ei merkitse.

Tuo kysymys vaikeutui 2026. Vahvimmat open-mallit ovat nyt samaan aikaan hyvin suuria ja hyvin niukkoja. Malli voi sisältää kolme neljäsosaa biljoonaa painoa ja koskea vain neljäsosaan niistä tuottaakseen jokaisen sanan. Se toimii paljon nopeammin kuin koko antaisi ymmärtää, ja silti se tarvitsee jokaisen tavun tuosta koosta muistiin.

Kokonaisten parametrien määrä määrää laskun. Aktiivisten parametrien määrä määrää nopeuden.

Lähes kaikki huipputason open-mallit käyttävät nykyään mixture of experts -arkkitehtuuria. Malli on jaettu moniin pieniin erikoistuneisiin verkkoihin. Jokaiselle tokenille reititin valitsee muutaman niistä. GLM-5.3 sisältää 744B parametria ja käyttää noin 40B per token.¹ DeepSeek-V4.1-Flash sisältää 552B-taustamallin ja aktivoi 8B parametria lukiessaan ja 16B kirjoittaessaan.⁶

Ajattele sitä hakuteoskirjastona. Luet muutaman sivun vastataksesi kysymykseen, joten vastaus tulee nopeasti. Tarvitset silti hyllytilaa jokaiselle kirjalle, koska et tiedä etukäteen, mitä sivuja tarvitset. Reititin muuttaa mieltään jokaisella tokenilla.

Siksi 744B-malli on ylipäätään käyttökelpoinen yhdellä koneella, ja siksi tuo kone tarvitsee silti satoja gigatavuja.

Mitä kvantisointi todella maksaa

Kvantisointi tallentaa jokaisen painon vähemmillä biteillä. Se on tärkein käytössäsi oleva vipu. GLM-5.3 vie 810GB muistia 8-bittisenä ja 223GB 1-bittisenä — sama malli, neljäsosa jaljenta.¹

Kaksi asiaa on helppo ymmärtää väärin. Ensimmäinen on se, että tiedostokoko levyllä ei ole muistimäärä. Tarvitset myös kontekstin ja työtilan, joten käynnissä olevan kokonaiskulutuksen määrä on latausta suurempi. Unslothin julkaistut taulukot ottavat tämän huomioon, minkä vuoksi heidän muistisarakkensa näyttää suurempaa lukemaa kuin tiedostosarakkensa.

Toinen on se, että tarkkuus heikkenee, kun bittejä vähennetään, eikä se heikkene lempeästi alimmilla tasoilla. Unslothin omissa mittauksissa GLM-5.3 säilyttää 94.29% top-1-tarkkuuden 4-bittisenä, 80.93% 2-bittisenä ja 72.56% 1-bittisenä.¹ 1-bittinen versio on tapa nähdä malli toiminnassa. Se ei ole malli, jonka laittaisit oikean työn taakse.

Kolme tapaa päästä määrään

Yksi yhtenäisen muistin allas. Apple-sirulla prosessori ja grafiikka jakavat saman muistin, joten Mac Studio M3 Ultra 512GB voi antaa siitä lähes kaiken mallille. Tämä on yksinkertaisin reitti suureen kapasiteettiin, ja hiljaisin. Se on myös katto: 512GB on eniten yhtenäistä muistia, jota Apple myy, nykyisessä M3 Ultra -mallissa ja uudemmassa M5 Ultra -mallissa, jonka 512GB kokoonpano tulee vasta lokakuun lopulla.⁷ Odottaminen ei tuo sinulle enempää kapasiteettia.

Näytönohjain plus järjestelmä-RAM. Mixture-of-experts-mallit jakautuvat siististi. Huomiokerrokset, joita jokainen token koskettaa, sijoitetaan näytönohjaimelle. Eksperttikerrokset, jotka ovat suuria mutta joita luetaan harvoin, jäävät järjestelmämuistiin. llama.cpp:ssä --n-cpu-moe-lippu ohjaa, mihin jako osuu. Tämä on halvin tapa päästä suureen kapasiteettiin, ja se siirtää pullonkaulan DDR5 nopeuteen, koska kun eksperttikerrokset elävät järjestelmämuistissa, niiden lukunopeus on muistisi kaistanleveys. Kahdeksankanavainen työasema-alusta merkitsee tässä paljon enemmän kuin näytönohjaimen merkki.

Kaikki VRAMissa. Nopein ja kallein. Neljä NVIDIA RTX PRO 6000 -korttia antaa 384GB. HelixML mittasi GLM-5.3-Flashin neljällä RTX PRO 6000 Server Edition -kortilla 63.7 ulostulotokenia sekunnissa yhdelle pyynnölle, nousten 82.8:een spekulatiivisella dekoodauksella — ja raportoi, että ylipäätään siihen pääseminen vaati lukitun kokeellisen buildin.⁸ Päivä nolla -tuki uudelle arkkitehtuurille on harvoin valmis.

Konteksti ei ole ilmainen

Jokainen yllä olevassa kaaviossa oleva malli ilmoittaa miljoonan tokenin konteksti-ikkunan. Tämän kontekstin ylläpito maksaa omaa muistiaan, erillään painoarvoista, ja se on se raja, jonka ihmiset unohtavat mitoittaessaan konetta. Kuinka paljon riippuu täysin arkkitehtuurista. DeepSeek julkaisee 890 tavua per token mallille V4.1-Flash, joka pitää täyden miljoonan tokenia alle gigatavun.⁶ Vanhemmat suunnittelut ovat paljon raskaampia. Mitoita painoarvoille, ja jätä sitten oikea marginaali sen päälle.

Portaat

Lue kaaviota ostoslistana, ja se jäsentyy neljään porrasaskelmaan.

Noin 32GB asti pyörii hyvät pienet mallit. Qwen3.8-27B tarvitsee 17GB 4-bitillä ja siinä on näkö ja päättely sisäänrakennettuna.⁴ Yksittäinen työasema-näytönohjain kattaa tämän, ja se on kykenevämpi kuin luku antaa ymmärtää.

Noin 256GB kohdalta alkaa eturintama. DeepSeek-V4-Flash mahtuu häviöttä 169GB:iin, joten ajat mallia täsmälleen niin kuin sen tekijät sen julkaisivat, ilman minkäänlaista tarkkuuskysymystä.² MiniMax M3 mahtuu 3-bitillä.³

512GB on kiinnostava porras syyskuussa 2026. Siinä GLM-5.3 toimii 4-bitillä tarkkuuden säilyessä, ja siinä communityn 4/8-bitin buildi DeepSeek-V4.1-Flashista on. Mac Studio M3 Ultra 512GB yltää siihen yhdessä laitteessa tänään. Neox Metal yltää siihen 512GB ECC RDIMM-muistilla ja kortilla, joka pitää huomiokerrokset.

^{Yli 512GB rakennat mieluummin kuin ostat. Kimi K3 tarvitsee 610GB 1-bitillä ja 1.6TB toimiakseen häviöttä.5} Se on kahdeksankanavaista rekisteröityä ECC-muistia työasema-alustalla, ja keskustelu siitä, mihin mallia käytetään.

Tietyt mallit vaihtuvat — kolme tuon kaavion kuudesta ei ollut olemassa kesäkuussa. Aritmetiikka ei vaihdu. Etsi parametrien kokonaismäärä, valitse puolustettava kvantisointi, lisää konteksti ja osta kapasiteetti. Kunkin nykyisen mallin tarkat tarpeet löydät muistiinpanoistamme aiheista GLM-5.3 ja DeepSeek V4.1-Flash.