Ile pamięci potrzeba do uruchomienia lokalnie modelu open-source

Model open-weight to plik. Pytanie, które decyduje o tym, czy możesz go użyć, jest mało efektowne: czy ten plik mieści się w pamięci twojego komputera, naraz? Karta graficzna, procesor i wyniki benchmarków schodzą na dalszy plan. Jeśli wagi się nie mieszczą, nic innego nie ma znaczenia.

To pytanie stało się trudniejsze w 2026. Najmocniejsze modele open-source są teraz jednocześnie bardzo duże i bardzo rzadkie. Model może zawierać trzy czwarte biliona wag i wykorzystywać tylko czterdziestą ich część do wygenerowania każdego słowa. Działa znacznie szybciej, niż sugeruje jego rozmiar, a mimo to potrzebuje w pamięci każdego bajtu tego rozmiaru.

Łączna liczba parametrów wyznacza koszt. Liczba aktywnych parametrów wyznacza szybkość.

Prawie każdy czołowy model open-source korzysta dziś z mieszanki ekspertów. Model jest podzielony na wiele małych sieci specjalistycznych. Dla każdego tokenu router wybiera kilka z nich. GLM-5.3 ma 744B parametrów i używa około 40B na token.¹ DeepSeek-V4.1-Flash ma 552B-elementowy backbone i aktywuje 8B parametrów podczas odczytu oraz 16B podczas zapisu.⁶

Pomyśl o tym jak o bibliotece referencyjnej. Czytasz kilka stron, żeby odpowiedzieć na pytanie, więc odpowiedź pojawia się szybko. Nadal potrzebujesz miejsca na półkach na każdą książkę, bo z wyprzedzeniem nie wiesz, których stron będziesz potrzebować. Router zmienia zdanie przy każdym tokenie.

Dlatego model 744B w ogóle da się używać na pojedynczej maszynie, i dlatego ta maszyna nadal potrzebuje setek gigabajtów.

Ile naprawdę kosztuje kwantyzacja

Kwantyzacja zapisuje każdą wagę w mniejszej liczbie bitów. To główna dźwignia, jaką masz do dyspozycji. GLM-5.3 zajmuje 810GB pamięci przy 8-bitowym i 223GB przy 1-bitowym — ten sam model, ćwierć zajmowanego miejsca.¹

Łatwo tu o dwa błędy. Pierwszy polega na tym, że rozmiar pliku na dysku nie jest wartością pamięciową. Trzeba jeszcze uwzględnić kontekst i stan roboczy, więc łączny wynik jest wyższy niż sam pobrany plik. Opublikowane tabele Unsloth uwzględniają to, dlatego ich kolumna pamięci pokazuje wyższe wartości niż kolumna pliku.

Drugi polega na tym, że dokładność spada wraz ze schodzeniem w dół z liczbą bitów i nie spada łagodnie na samym dole. Według własnych pomiarów Unsloth GLM-5.3 zachowuje 94.29% dokładności top-1 przy 4-bitowym, 80.93% przy 2-bitowym i 72.56% przy 1-bitowym.¹ Wersja 1-bitowa to sposób, by zobaczyć model w działaniu. To nie jest model, który umieściłbyś za rzeczywistą pracą.

Trzy sposoby osiągnięcia tej liczby

Jedna pula ujednoliconej pamięci. Na Apple silicon procesor i grafika korzystają z tej samej pamięci, więc Mac Studio M3 Ultra 512GB może przeznaczyć niemal całą jej pulę dla modelu. To najprostsza droga do dużej pojemności i najcichsza. To także sufit: 512GB to największa ilość ujednoliconej pamięci, jaką Apple sprzedaje, obecnie w M3 Ultra oraz w nowszym M5 Ultra, którego konfiguracja 512GB ma pojawić się dopiero pod koniec października.⁷ Czekanie nie daje większej pojemności.

Karta graficzna plus pamięć RAM systemu. Modele typu mixture-of-experts dzielą się tu naturalnie. Warstwy attention, których dotyka każdy token, trafiają na kartę graficzną. Warstwy expert, które są duże, ale rzadko odczytywane, pozostają w pamięci systemowej. W llama.cpp flaga --n-cpu-moe kontroluje miejsce podziału. To najtańszy sposób na osiągnięcie dużej pojemności, a wąskie gardło przesuwa się do szybkości Twojego DDR5, ponieważ gdy eksperci znajdują się w pamięci systemowej, szybkość odczytu zależy od przepustowości pamięci. Platforma robocza z ośmiokanałową pamięcią ma tu znacznie większe znaczenie niż oznaczenie na karcie graficznej.

Wszystko w VRAM. Najszybsze i najdroższe. Cztery karty NVIDIA RTX PRO 6000 dają 384GB. HelixML zmierzył GLM-5.3-Flash na czterech kartach RTX PRO 6000 Server Edition przy 63.7 tokenach wyjściowych na sekundę dla pojedynczego żądania, rosnących do 82.8 z speculative decoding — i podał, że w ogóle udało się to uzyskać dopiero na przypiętej wersji eksperymentalnej.⁸ Wsparcie day-zero dla nowej architektury rzadko jest gotowe.

Kontekst nie jest darmowy

Każdy model w powyższym zestawieniu deklaruje okno kontekstu o wielkości jednego miliona tokenów. Utrzymanie takiego kontekstu kosztuje własną pamięć, oddzielnie od wag, i właśnie o tym ludzie zapominają, gdy planują konfigurację maszyny. Ile dokładnie zależy wyłącznie od architektury. DeepSeek podaje 890 bajtów na token dla V4.1-Flash, które utrzymuje pełny milion tokenów poniżej jednego gigabajta.⁶ Starsze konstrukcje są znacznie cięższe. Dobierz rozmiar pod wagi, a potem zostaw jeszcze realny zapas.

Drabinka

Czytaj tabelę jak listę zakupów, a ułoży się w cztery szczeble.

Do około 32GB działają dobre małe modele. Qwen3.8-27B wymaga 17GB przy 4-bit i ma wbudowane widzenie oraz rozumowanie.⁴ Jedna workstationowa karta graficzna wystarcza do tego poziomu i potrafi więcej, niż sugeruje sama liczba.

Około 256GB zaczyna się granica możliwości. DeepSeek-V4-Flash mieści się bezstratnie w 169GB, więc uruchamiasz model dokładnie w takiej formie, w jakiej wypuścili go autorzy, bez żadnych wątpliwości co do dokładności.² MiniMax M3 mieści się przy 3-bitach.³

512GB to ciekawy szczebel we wrześniu 2026. To właśnie tam GLM-5.3 działa przy 4-bitach z zachowaną dokładnością, a także znajduje się społecznościowa wersja DeepSeek-V4.1-Flash w wariancie 4/8-bit. A Mac Studio M3 Ultra 512GB osiąga to dziś w jednej obudowie. A Neox Metal osiąga to z 512GB pamięci ECC RDIMM i kartą do obsługi warstw uwagi.

Powyżej 512GB zaczynasz budować, a nie kupować. Kimi K3 potrzebuje 610GB przy 1 bitach i 1.6TB, aby działać bezstratnie.⁵ To oznacza ośmiokanałową pamięć zarejestrowaną ECC na platformie stacji roboczej oraz rozmowę o tym, do czego model ma służyć.

Konkretny zestaw modeli będzie się zmieniał — trzy z sześciu w tamtej tabeli nie istniały w czerwcu. Artymetyka się nie zmieni. Oblicz łączną liczbę parametrów, wybierz kwantyzację, której możesz bronić, dodaj kontekst i kup odpowiednią pojemność. Szczegółowe wymagania każdego obecnego modelu znajdziesz w naszych notatkach o GLM-5.3 oraz DeepSeek V4.1-Flash.