GLM-5.3 aparatinės įrangos reikalavimai

GLM-5.3 yra galingiausias šiandien atsisiunčiamas atviro svorio modelis. Z.ai jį išleido 14 rugpjūčio 2026 d. ir po dviejų savaičių, 28 rugpjūčio d., paskelbė svorius, kai saugumo sustiprinimas buvo baigtas.⁴ Jis pasiekia geriausius Terminal-Bench 3.0 rezultatus ir, lyginant su savo pirmtaku, tą balą padidina nuo 4.6% iki 28.3%.⁴

Tai taip pat yra 744B parametrų modelis, kurio naudojama versija reikalauja 475GB atminties. Būtent šis skaičius, o ne lyginamasis testas, lemia, ar galėsite jį paleisti.

• Parametrai744Bapie 40B aktyvių
• Kontekstas1Mtokenų
• LicencijaGLM-5.3pritaikyta, ne MIT
• Atmintis ties 4 bitų475GB94.3% tikslumas

Tas pats modelis kaip 5.2, toliau mokytas

GLM-5.3 dalijasi bazine modelio versija su GLM-5.2. Visi patobulinimai atsiranda dėl papildomo postmokymo, o ne dėl naujo išankstinio mokymo paleidimo.¹ Todėl architektūra, parametrų skaičius ir atminties poreikis yra identiški 5.2, o tai patogu: viskas, ką išmokote apie 5.2 paleidimą, vis dar galioja, ir bet kuri mašina, kuri paleido 5.2, paleidžia 5.3.

Kaip ir visi šių metų pažangiausi atvirojo kodo modeliai, jis yra ekspertų mišinys. Jame yra 744B parametrų ir jis nukreipia apie 40B jų kiekvienam tokenui. Mažas aktyvių parametrų skaičius ir leidžia vienai mašinai generuoti priimtinu greičiu. Didelis bendras skaičius ir reiškia, kad tai turi būti rimta mašina — maršrutizatorius kiekvienam tokenui parenka skirtingus ekspertus, todėl visi jie turi likti atmintyje.

Ko jam reikia

Unsloth pateikia visą GLM-5.3 kvantizavimo kopėčių rinkinį ir, neįprastai, prie kiekvienos versijos pateikia išmatuotą tikslumo reikšmę. Būtent šis antrasis stulpelis ir leidžia pasirinkti.

Ką kiekviena kvantizacija paaukoja

Kvantizacija kiekvieną svorį saugo mažiau bitų. Sutaupymas yra tikras, kaip ir kaina, o kaina nėra tiesinė. Skaitykite kopėčias nuo apačios ir pirmi keli žingsniai beveik nieko nekainuoja; skaitykite nuo viršaus ir paskutiniai keli žingsniai yra labai skausmingi.

Perėjus nuo 4 bitų prie 2 bitų sutaupoma 230GB ir prarandama beveik šešiolika tikslumo taškų. Perėjus nuo 5 bitų prie 4 bitų sutaupoma 95GB ir prarandama pusantro. Jei jūsų biudžetas siekia 512GB, 4 bitų versija yra ta vieta, kur modelis vis dar elgiasi kaip pats savęs atvaizdas. Žemiau to naudojate demonstracinę versiją.

Trys būdai pasiekti 475GB

Vienas bendros atminties telkinys. Mac Studio M3 Ultra 512GB talpina 4 bitų versiją su rezervu kontekstui, ir būtent šiandien tai yra šią užduotį atliekanti mašina. 2 bitų versija su 245GB telpa tiesiogiai 256GB mašinoje.² 512GB abiem atvejais yra „Apple“ silicio riba: naujesnis M5 Ultra pasiekia tą pačią reikšmę, o jo 512GB konfigūracija pasirodys tik spalio pabaigoje.⁵

Kortelė ir sistemos RAM. Kadangi modelis retas, toks padalijimas veikia gerai. Dėmesio sluoksniai dedami į vaizdo plokštę, ekspertų sluoksniai lieka sistemos atmintyje, o llama.cpp --n-cpu-moe parametras nustato ribą. Unsloth nurodo, kad GLM-5.2 veikia vienoje 24GB kortoje su 256GB RAM tokiu būdu.² Tikėtina, kad tai bus lėčiau nei bendroji atmintis, nes ekspertų svoriai bus skaitomi jūsų DDR5, o ne jūsų VRAM greičiu. Būtent čia aštuonių kanalų darbo stoties platforma atsiperka savo kaina.

Viskas VRAM. Keturios RTX PRO 6000 kortos suteikia 384GB, pakanka 3 bitų versijai. HelixML išmatavo mažesnį GLM-5.3-Flash ant keturių RTX PRO 6000 Server Edition kortų ir gavo 63.7 išvesties tokenų per sekundę vienai užklausai bei 82.8 su spekuliatyviu dekodavimu, o tam prireikė prisegto eksperimentinio SGLang leidinio.³ Naujos architektūros palaikymas pirmąją dieną retai būna baigtas.

Prieš planuodami produktą pagal tai, perskaitykite licenciją

Štai kur GLM-5.3 skiriasi nuo savo pačios šeimos, ir beveik niekas to nemini. GLM-5.2 buvo išleistas pagal MIT.⁶ GLM-5.3 nėra: jo svoriai turi specialią, pagal modelį pavadintą licenciją, kuri reikalauja, kad modelis kaip paslauga operatoriai, kurių pajamos per paskutinius dvylika mėnesių viršija $10B, prieš komercinį naudojimą praeitų Z.ai saugumo patikrą.⁴ GLM-5.3-Flash, išleistas 26 rugpjūčio d., vėl yra MIT.⁴

Daugumai įmonių pajamų riba yra akademinis klausimas. Svarbiausia, kad licencijavimas dabar skiriasi tarp leidimų tos pačios šeimos viduje, todėl tikrinkite jį pagal modelį, o ne pagal tiekėją.

Svarbūs nustatymai

Įprastam darbui naudokite temperatūrą 1.0, o top-p — 0.95, o ilgiems agentiniams vykdymams naudokite top-p 1.0.¹

Vienas spąstas būdingas būtent šiam leidimui. GLM-5.3 pagal numatytuosius nustatymus naudoja maksimalų samprotavimą, o mąstymo negalima išjungti, o tai nėra tiesa apie 5.2. Pateikite --chat-template-kwargs '{"reasoning_effort":"low"}', kad sumažintumėte tai, ir nustatykite clear_thinking į true daugiapakopiams pokalbiams, kad seni samprotavimai nesikauptų kontekste.¹ Paliktas vienas ilgame pokalbyje jis sunaudos ir jūsų žetonus, ir jūsų atminties rezervą.

Dėl viso to aritmetikos žr. kiek atminties reikia paleisti atvirą modelį vietoje. Dėl naujausio leidimo toje pačioje svorio klasėje žr. DeepSeek V4.1-Flash. Šiandien 512GB mašina reiškia Mac Studio M3 Ultra 512GB arba Neox Metal su 512GB registered ECC memory.