Wymagania sprzętowe GLM-5.3

GLM-5.3 to najmocniejszy otwarty model o otwartych wagach, jaki można dziś pobrać. Z.ai uruchomiło go 14 sierpnia 2026 i opublikowało wagi dwa tygodnie później, 28 sierpnia, po zakończeniu utwardzania zabezpieczeń.⁴ Osiąga najnowocześniejsze wyniki w Terminal-Bench 3.0 i poprawia ten wynik z 4.6% do 28.3% względem własnego poprzednika.⁴

To również model o 744B parametrach, którego użyteczna wersja wymaga 475GB pamięci. To właśnie ta liczba, a nie benchmark, decyduje o tym, czy możesz go uruchomić.

• Parametry744Bokoło 40B aktywnych
• Kontekst1Mtokenów
• LicencjaGLM-5.3własna, nie MIT
• Pamięć przy 4-bit475GB94.3% dokładność

Ten sam model co 5.2, dalej uczony

GLM-5.3 korzysta z tego samego modelu bazowego co GLM-5.2. Każda poprawa wynika z dodatkowego post-treningu, a nie z nowego uruchomienia pre-treningu.¹ Architektura, liczba parametrów i koszt pamięci są więc identyczne jak w przypadku 5.2, co jest wygodne: wszystko, czego nauczyłeś się o uruchamianiu 5.2, nadal obowiązuje, a każda maszyna, która uruchamiała 5.2, uruchamia 5.3.

Jak każdy czołowy otwarty model w tym roku, jest to model z mieszaniną ekspertów. Ma 744B parametrów i kieruje około 40B z nich na token. Niska liczba aktywnych parametrów to powód, dla którego jedna maszyna może generować z rozsądną prędkością. Duża liczba łączna to powód, dla którego ta maszyna musi być naprawdę mocna — router wybiera różnych ekspertów dla każdego tokenu, więc wszyscy pozostają w pamięci.

Czego wymaga

Unsloth publikuje pełną drabinkę kwantyzacji dla GLM-5.3 i, co nietypowe, publikuje obok każdej z nich zmierzoną wartość dokładności. To właśnie druga kolumna sprawia, że możliwy jest wybór.

Co traci każda kwantyzacja

Kwantyzacja zapisuje każdą wagę w mniejszej liczbie bitów. Oszczędność jest realna, podobnie jak koszt, a koszt nie rośnie liniowo. Czytaj drabinkę od dołu, a pierwsze kilka stopni jest niemal darmowych; czytaj ją od góry, a ostatnie kilka stopni jest brutalnych.

Przejście z 4-bit na 2-bit oszczędza 230GB i kosztuje prawie szesnaście punktów dokładności. Przejście z 5-bit na 4-bit oszczędza 95GB i kosztuje półtora punktu. Jeśli Twój budżet sięga 512GB, 4-bit to poziom, na którym model wciąż zachowuje się jak sam siebie. Poniżej tego pracujesz na wersji demonstracyjnej.

Trzy sposoby, by osiągnąć 475GB

Jedna pula pamięci zunifikowanej. Mac Studio M3 Ultra 512GB mieści wersję 4-bit z zapasem na kontekst i to właśnie ta maszyna robi to dziś. Wersja 2-bit przy 245GB mieści się bezpośrednio w maszynie 256GB.² 512GB to limit na Apple silicon w obu przypadkach: nowszy M5 Ultra kończy się na tej samej wartości, a jego konfiguracja 512GB nie jest spodziewana przed końcem października.⁵

Karta plus pamięć RAM systemu. Ponieważ model jest rzadki, taki podział działa dobrze. Warstwy attention trafiają na kartę graficzną, warstwy ekspertów pozostają w pamięci systemowej, a flaga llama.cpp --n-cpu-moe określa, gdzie przebiega granica. Unsloth podaje, że GLM-5.2 działał w ten sposób na pojedynczej karcie 24GB z 256GB pamięci RAM.² Spodziewaj się, że będzie to wolniejsze niż pamięć zunifikowana, ponieważ wagi ekspertów odczytywane są wtedy z prędkością Twojego DDR5, a nie VRAM. To właśnie tutaj ośmiokanałowa platforma stacji roboczej uzasadnia swoją cenę.

Wszystko w VRAM. Cztery karty RTX PRO 6000 dają 384GB, wystarczająco na wersję 3-bit. HelixML zmierzył mniejszy GLM-5.3-Flash na czterech kartach RTX PRO 6000 Server Edition z wynikiem 63.7 tokenów wyjściowych na sekundę dla pojedynczego żądania oraz 82.8 przy speculative decoding, a do tego potrzebna była przypięta eksperymentalna wersja SGLang.³ Obsługa nowej architektury w dniu premiery rzadko jest dopracowana.

Przeczytaj licencję, zanim zaplanujesz na niej produkt

Tu GLM-5.3 różni się od reszty swojej rodziny i niemal nikt o tym nie wspomina. GLM-5.2 został wydany na licencji MIT.⁶ GLM-5.3 nie: jego wagi objęte są niestandardową licencją nazwaną od modelu, która wymaga od operatorów model-as-a-service osiągających powyżej $10B przychodu w trailing twelve-month revenue przejścia przeglądu bezpieczeństwa Z.ai przed komercyjnym użyciem.⁴ GLM-5.3-Flash, wydany 26 August, ponownie korzysta z licencji MIT.⁴

Dla większości firm próg przychodów jest czysto teoretyczny. Chodzi o to, że licencja różni się teraz między kolejnymi wydaniami w obrębie jednej rodziny, więc sprawdzaj ją dla konkretnego modelu, a nie dla danego dostawcy.

Ustawienia, które mają znaczenie

Użyj temperatury 1.0 z top-p na poziomie 0.95 do zwykłej pracy oraz top-p na poziomie 1.0 do długich przebiegów agentowych.¹

Jedna pułapka dotyczy wyłącznie tego wydania. GLM-5.3 używa domyślnie maksymalnego reasoning i myślenia nie da się wyłączyć, czego nie można powiedzieć o 5.2. Przekaż --chat-template-kwargs '{"reasoning_effort":"low"}', aby to obniżyć, oraz ustaw clear_thinking na true w przypadku rozmów wieloturowych, aby stare rozumowanie nie kumulowało się w kontekście.¹ Pozostawiony sam sobie podczas długiej rozmowy zużyje zarówno Twoje tokeny, jak i zapas pamięci.

Aby poznać obliczenia stojące za tym wszystkim, zobacz how much memory you need to run an open model locally. Po najnowsze wydanie w tej samej klasie wagowej zobacz DeepSeek V4.1-Flash. Maszyna 512GB dziś oznacza Mac Studio M3 Ultra 512GB albo Neox Metal z 512GB registered ECC memory.