Kiek atminties reikia norint vietoje paleisti atvirą modelį

Visi parametrai lemia atminties poreikį. Aktyvieji parametrai lemia greitį. Talpos skalė atviriems 2026 modeliams, nuo 17GB iki 1.6TB.

Samsung DDR5 ECC registered server memory modules on a pale silver-grey studio surface

Atviro svorio modelis yra failas. Klausimas, kuris lemia, ar galite jį naudoti, yra paprastas: ar šis failas telpa jūsų įrenginio atmintyje vienu kartu? Vaizdo plokštė, procesorius ir etaloniniai balai lieka antraeiliai. Jei svoriai netelpa, visa kita nesvarbu.

Šis klausimas 2026 tapo sudėtingesnis. Stipriausi atviri modeliai dabar yra ir labai dideli, ir labai reti vienu metu. Modelis gali turėti tris ketvirtadalius trilijono svorių ir kiekvienam žodžiui sugeneruoti paliesti tik keturiasdešimtąją jų dalį. Jis veikia daug greičiau, nei leidžia manyti jo dydis, ir vis tiek jam reikia kiekvieno to dydžio baito atmintyje.

Bendrą kainą lemia visi parametrai. Greitį lemia aktyvūs parametrai.

Beveik kiekvienas pažangiausias atviras modelis dabar naudoja ekspertų mišinį. Modelis padalytas į daug mažų specializuotų tinklų. Kiekvienam tokenui maršrutizatorius pasirenka kelis iš jų. GLM-5.3 turi 744B parametrų ir vienam tokenui naudoja apie 40B.1 DeepSeek-V4.1-Flash turi 552B pagrindą ir aktyvuoja 8B parametrų skaitant ir 16B rašant.6

Įsivaizduokite tai kaip nuorodų biblioteką. Atsakydami į klausimą perskaitote kelis puslapius, todėl atsakymas pateikiamas greitai. Vis tiek reikia vietos lentynose visoms knygoms, nes iš anksto nežinote, kurių puslapių prireiks. Maršrutizatorius kiekvienam tokenui persigalvoja iš naujo.

Štai kodėl 744B modelis apskritai yra naudojamas viename įrenginyje, ir kodėl tam įrenginiui vis tiek reikia šimtų gigabaitų.

Ką iš tikrųjų kainuoja kvantizacija

Kvantizacija kiekvieną svorį saugo mažiau bitų. Tai pagrindinė turima svertų priemonė. GLM-5.3 naudoja 810GB atminties esant 8 bitų ir 223GB esant 1 bitų — tas pats modelis, ketvirtadalis užimamos vietos.1

Du dalykai dažnai suprantami klaidingai. Pirmasis yra tas, kad diske esantis failo dydis nėra atminties rodiklis. Taip pat reikia laikyti kontekstą ir darbinę būseną, todėl bendras naudojamas kiekis viršija atsisiuntimo dydį. „Unsloth“ skelbiamos lentelės į tai atsižvelgia, todėl jų atminties stulpelis rodo didesnį dydį nei failo stulpelis.

Antrasis dalykas yra tas, kad tikslumas krinta mažėjant bitų skaičiui ir apačioje jis krenta ne švelniai. Remiantis pačiais „Unsloth“ matavimais, GLM-5.3 išlaiko 94.29% aukščiausio lygio 1 tikslumą esant 4 bitų, 80.93% esant 2 bitų ir 72.56% esant 1 bitų.1 1 bitų versija leidžia pamatyti modelį veikiantį. Tai nėra modelis, kurį dėtumėte už realaus darbo.

Ko iš tikrųjų reikia 2026 atvirojo modelioBendra atmintis GB — sistemos RAM ir VRAM arba vieningoji atmintis — esant kvantizacijai, kuri išlaiko modelį naudotinu. Rugsėjis 2026.
  1. Qwen3.8 27B19GB
  2. V4-Flash169GB
  3. MiniMax M3200GB
  4. GLM-5.3475GB
  5. V4.1-Flash427GB
  6. Kimi K3610GB

Qwen3.8-27B at 4-bit, DeepSeek-V4-Flash at lossless Q8, MiniMax M3 at 3-bit, GLM-5.3 at 4-bit and Kimi K3 at dynamic 1-bit, all from Unsloth's published memory tables.12345 DeepSeek-V4.1-Flash is shown at the community MLX mixed 4/8-bit build, 427GB resident; it ships as 510GB of FP8 weights and a 2-bit build runs in 167GB.6

Ką pasiekia kiekvienas pajėgumų lygis, rugsėjis 2026.
Pajėgumas Ką jis paleidžia
32GB Qwen3.8-27B esant 4 bitų
128GB DeepSeek-V4-Flash esant 3 bitų
256GB DeepSeek-V4-Flash be nuostolių, V4.1-Flash esant 2 bitų, GLM-5.3 esant 2 bitų
512GB GLM-5.3 esant 4 bitų, DeepSeek-V4.1-Flash esant 4/8 bitų
768GB+ Kimi K3 esant 1 bitų

Trys būdai pasiekti šį skaičių

Viena suvienodintos atminties talpykla. Apple silicon procesorius ir grafika naudoja tą pačią atmintį, todėl Mac Studio M3 Ultra 512GB beveik visą ją gali skirti modeliui. Tai paprasčiausias būdas pasiekti didelę talpą ir tyliausias. Tai ir riba: 512GB yra didžiausias suvienodintos atminties kiekis, kurį Apple parduoda šiandieniniame M3 Ultra ir naujesniame M5 Ultra, kurio 512GB konfigūracija pasirodys tik spalio pabaigoje.7 Laukimas nesuteiks jums didesnės talpos.

Grafikos plokštė plius sistemos RAM. Mixture-of-experts modeliai pasiskirsto patogiai. Dėmesio sluoksniai, kuriuos paliečia kiekvienas tokenas, veikia grafikos plokštėje. Ekspertų sluoksniai, kurie yra dideli, bet retai nuskaitomi, lieka sistemos atmintyje. llama.cpp --n-cpu-moe vėliavėlė valdo, kur vyksta padalijimas. Tai pigiausias būdas pasiekti didelę talpą, o butelio kaklelis persikelia į jūsų DDR5 spartą, nes kai ekspertai gyvena sistemos atmintyje, jų skaitymo sparta yra jūsų atminties pralaidumas. Aštuonių kanalų darbo stoties platforma čia yra daug svarbesnė nei grafikos plokštės pavadinimas.

Viskas VRAM. Greičiausias ir brangiausias variantas. Keturi NVIDIA RTX PRO 6000 kortos suteikia 384GB. HelixML išmatavo GLM-5.3-Flash su keturiomis RTX PRO 6000 Server Edition kortomis, gaunant 63.7 išvesties tokenų per sekundę vienam užklausos atlikimui, o naudojant spekuliatyvų dekodavimą šis skaičius pakilo iki 82.8 — ir nurodė, kad tam apskritai prireikė užfiksuotos eksperimentinės versijos.8 Naujos architektūros palaikymas pirmąją dieną retai būna paruoštas.

Kontekstas nėra nemokamas

Visi aukščiau esančioje lentelėje pateikti modeliai reklamuoja vieno milijono tokenų konteksto langą. Tokio konteksto išlaikymas kainuoja savą atmintį, atskirai nuo svorių, ir tai yra eilutė, kurią žmonės pamiršta, kai parenka mašiną. Kiek tiksliai, visiškai priklauso nuo architektūros. DeepSeek skelbia 890 baitų vienam tokenui V4.1-Flash, kuris viename gigabajte išlaiko visą milijoną tokenų.6 Senesni dizainai yra daug sunkesni. Skaičiuokite svoriams, o tada palikite realią atsargą viršuje.

Laiptinė

Skaitykite lentelę kaip pirkinių sąrašą, ir ji susideda iš keturių pakopų.

Iki maždaug 32GB veikia geri mažieji modeliai. Qwen3.8-27B reikia 17GB su 4 bitų tikslumu ir turi integruotą vaizdo bei samprotavimo funkcionalumą.4 Viena darbo stoties grafikos plokštė šį poreikį padengia, ir ji yra pajėgesnė, nei atrodo pagal šį skaičių.

Apie 256GB prasideda riba. DeepSeek-V4-Flash be nuostolių telpa į 169GB, todėl modelį paleidžiate lygiai taip, kaip jo autoriai jį pateikė, visiškai nekeldami tikslumo klausimo.2 MiniMax M3 telpa į 3 bitų.3

512GB yra įdomus laiptelis rugsėjį 2026. Čia GLM-5.3 veikia 4 bitų režimu išlaikydamas tikslumą, ir čia yra bendruomenės 4/8 bitų DeepSeek-V4.1-Flash versija. Vieno korpuso Mac Studio M3 Ultra 512GB šiandien ten pasiekia. Neox Metal tai pasiekia su 512GB ECC RDIMM ir kortele, laikančia dėmesio sluoksnius.

Po 512GB jau kuriate, o ne perkate. Kimi K3 reikia 610GB esant 1 bitų ir 1.6TB, kad veiktų be nuostolių.5 Tai yra aštuonių kanalų registered ECC atmintis darbo stoties platformoje ir pokalbis apie tai, kam skirtas modelis.

Konkrečios modelių versijos keisis — trys iš šešių toje lentelėje birželį dar neegzistavo. Aritmetika nesikeis. Raskite bendrą parametrų skaičių, pasirinkite pagrįstą kvantizaciją, pridėkite kontekstą ir nusipirkite talpą. Norėdami sužinoti išsamiai, ko reikia kiekvienam dabartiniam modeliui, žr. mūsų pastabas apie GLM-5.3 ir DeepSeek V4.1-Flash.

Šaltiniai

  1. Unsloth, GLM-5.3: Kaip paleisti lokaliai — kvantizacijos dydžiai, atminties reikalavimai ir geriausias 1 tikslumas pagal kvantizaciją.
  2. Unsloth, DeepSeek-V4: Kaip paleisti lokaliai — DeepSeek-V4-Flash-0731 atminties reikalavimai.
  3. Unsloth, MiniMax M3: Kaip paleisti lokaliai.
  4. Unsloth, Qwen3.8: Kaip paleisti lokaliai.
  5. Unsloth, Kimi K3: Kaip paleisti lokaliai.
  6. DeepSeek-V4.1-Flash modelio kortelė ir failų sąrašas, Hugging Face — 552B pagrindas, 8B/16B aktyvūs, 510GB per 48 FP8 fragmentus, 890 baitų vienam žetonui globaliam KV.
  7. Apple, „Apple pristato M6 ir M5 Ultra“, 25 rugpjūčio 2026 — 512GB maksimali suvienodinta atmintis.
  8. HelixML, „GLM-5.3-Flash ant RTX PRO 6000, 1 dalis“, 27 rugpjūčio 2026.

More news from Vietinė DI