Koliko memorije je potrebno za lokalno pokretanje otvorenog modela

Model otvorenih težina je datoteka. Pitanje koje odlučuje možete li je koristiti nije glamurozno: stane li ta datoteka u memoriju vašeg računala, odjednom? Grafička kartica, procesor i rezultati benchmarka dolaze tek nakon toga. Ako se težine ne mogu smjestiti, ništa drugo nije važno.

To je pitanje postalo teže u 2026. Najjači otvoreni modeli danas su istodobno vrlo veliki i vrlo rijetki. Model može sadržavati tri četvrtine trilijuna težina i za generiranje svake riječi koristiti tek četrdesetinu njih. Radi mnogo brže nego što njegova veličina sugerira, a i dalje treba svaki bajt te veličine u memoriji.

Ukupan broj parametara određuje cijenu. Aktivni parametri određuju brzinu.

Gotovo svaki vodeći otvoreni model danas koristi mješavinu eksperata. Model je podijeljen u mnogo malih specijalističkih mreža. Za svaki token usmjerivač odabire nekoliko njih. GLM-5.3 sadrži 744B parametara i koristi oko 40B po tokenu.¹ DeepSeek-V4.1-Flash sadrži 552B backbone i aktivira 8B parametara dok čita i 16B dok piše.⁶

Zamislite to kao referentnu knjižnicu. Čitate nekoliko stranica da biste odgovorili na pitanje, pa odgovor stiže brzo. I dalje vam treba prostor na policama za svaku knjigu, jer unaprijed ne znate koje će vam stranice trebati. Usmjerivač mijenja odluku za svaki token.

Zbog toga je 744B model uopće upotrebljiv na jednom računalu, i zašto to računalo i dalje treba stotine gigabajta.

Što kvantizacija doista košta

Kvantizacija pohranjuje svaku težinu u manje bitova. To je glavni alat koji imate. GLM-5.3 zauzima 810GB memorije pri 8-bitnom i 223GB pri 1-bitnom — isti model, četvrtina zauzeća.¹

Dvije su stvari koje je lako pogrešno shvatiti. Prva je da veličina datoteke na disku nije i veličina u memoriji. Također držite kontekst i radno stanje, pa ukupna količina zauzima više od preuzete datoteke. Unslothove objavljene tablice to uzimaju u obzir, zbog čega je njihova stupac za memoriju veći od stupca za datoteku.

Druga je da točnost pada kako se smanjuje broj bitova, i to ne pada blago pri dnu. Prema Unslothovim vlastitim mjerenjima GLM-5.3 zadržava 94.29% top-1 točnost pri 4-bitnom, 80.93% pri 2-bitnom i 72.56% pri 1-bitnom.¹ 1-bitna verzija je način da vidite model kako radi. To nije model koji biste stavili iza stvarnog rada.

Tri načina za dosezanje tog broja

Jedan skup objedinjene memorije. Na Apple siliconu procesor i grafika dijele istu memoriju, pa Mac Studio M3 Ultra 512GB može gotovo svu nju dodijeliti modelu. To je najjednostavniji put do velikog kapaciteta i najtiši. To je ujedno i gornja granica: 512GB je najviše objedinjenje memorije koju Apple prodaje, na današnjem M3 Ultra i na novijem M5 Ultra čija konfiguracija 512GB nije planirana do kraja listopada.⁷ Čekanje vam ne donosi veći kapacitet.

Grafička kartica plus sistemska RAM memorija. Modeli mješavine eksperata uredno se dijele. Slojevi pažnje, koje dodiruje svaki token, idu na grafičku karticu. Ekspertni slojevi, koji su veliki, ali se rijetko čitaju, ostaju u sistemskoj memoriji. U llama.cpp zastavica --n-cpu-moe upravlja time gdje pada podjela. To je najjeftiniji način za dosezanje velikog kapaciteta, a usko grlo premješta na brzinu vašeg DDR5, jer kada eksperti žive u sistemskoj memoriji, njihova brzina čitanja postaje propusnost vaše memorije. Radna platforma s osam kanala ovdje je mnogo važnija od oznake na grafičkoj kartici.

Sve u VRAM-u. Najbrže i najskuplje. Četiri NVIDIA RTX PRO 6000 kartice daju 384GB. HelixML je izmjerio GLM-5.3-Flash na četiri RTX PRO 6000 Server Edition kartice na 63.7 izlaznih tokena u sekundi za jedan zahtjev, uz rast do 82.8 s speculative decodingom — i naveo da je do toga uopće došlo tek uz priključenu eksperimentalnu verziju.⁸ Podrška prvog dana za novu arhitekturu rijetko je spremna.

Kontekst nije besplatan

Svaki model u gornjoj tablici oglašava prozor konteksta od jedan milijun tokena. Čuvanje tog konteksta troši vlastitu memoriju, odvojenu od težina, i to je stavka koju ljudi zaboravljaju kada dimenzioniraju stroj. Koliko točno ovisi isključivo o arhitekturi. DeepSeek objavljuje 890 bajtova po tokenu za V4.1-Flash, koji drži pun milijun tokena ispod jednog gigabajta.⁶ Stariji dizajni daleko su teži. Dimenzionirajte prema težinama, a zatim ostavite stvarnu rezervu iznad toga.

Ljestvica

Čitajte tablicu kao popis za kupnju i ona se raščlani na četiri razine.

Do oko 32GB rade dobri mali modeli. Qwen3.8-27B zahtijeva 17GB pri 4-bitnoj i ima ugrađene viziju i zaključivanje.⁴ Jedna radna grafička kartica to pokriva, i sposobnija je nego što broj sugerira.

Oko 256GB počinje granica. DeepSeek-V4-Flash može se bez gubitaka uklopiti u 169GB, pa model pokrećete točno onako kako su ga autori isporučili, bez ikakvog pitanja o točnosti.² MiniMax M3 može stati na 3-bitovima.³

512GB je zanimljiva stepenica u rujnu 2026. To je mjesto gdje GLM-5.3 radi na 4-bitovima uz očuvanu točnost, i gdje zajednički 4/8-bitni build modela DeepSeek-V4.1-Flash stoji. Mac Studio M3 Ultra 512GB to danas postiže u jednoj kutiji. Neox Metal to postiže s 512GB ECC RDIMM memorije i karticom za držanje attention layers.

Nakon 512GB gradite, umjesto da kupujete. Kimi K3 treba 610GB na 1-bitovima i 1.6TB za rad bez gubitaka.⁵ To je osam-kanalna registrirana ECC memorija na workstation platformi, i razgovor o tome čemu model služi.

Pojedini modeli će se mijenjati — tri od šest u toj tablici nisu postojala u lipnju. Računica neće. Nađite ukupni broj parametara, odaberite kvantizaciju koju možete opravdati, dodajte kontekst i kupite kapacitet. Za detalje o tome što svakom trenutnom modelu treba, pogledajte naše bilješke o GLM-5.3 i DeepSeek V4.1-Flash.