Kolik paměti je potřeba pro lokální spuštění open modelu

Otevřený model s otevřenými váhami je soubor. Otázka, která rozhoduje o tom, zda jej můžete používat, je neokázalá: vejde se ten soubor do paměti vašeho počítače, najednou? Grafická karta, procesor i benchmarkové výsledky až potom. Pokud se váhy nevejdou, na ničem jiném nezáleží.

Tato otázka byla v 2026 těžší. Nejsilnější otevřené modely jsou dnes zároveň velmi velké a velmi řídké. Model může mít tři čtvrtiny bilionu vah a při generování každého slova sáhnout jen po čtyřicetině z nich. Běží mnohem rychleji, než by naznačovala jeho velikost, a přesto potřebuje v paměti každý bajt té velikosti.

Celkový počet parametrů určuje účet. Aktivní parametry určují rychlost.

Téměř každý otevřený model na hranici současných možností dnes používá směs expertů. Model je rozdělen do mnoha malých specializovaných sítí. Pro každý token vybere směrovač několik z nich. GLM-5.3 má 744B parametrů a na token používá asi 40B.¹ DeepSeek-V4.1-Flash má základní síť o velikosti 552B a při čtení aktivuje 8B parametrů a při zápisu 16B.⁶

Představte si to jako referenční knihovnu. Na odpověď na otázku přečtete jen několik stran, takže odpověď přijde rychle. Pořád ale potřebujete místo na polici pro každou knihu, protože předem nevíte, které stránky budou potřeba. Směrovač mění názor s každým tokenem.

Proto je model 744B vůbec použitelný na jednom počítači a proto ten počítač stále potřebuje stovky gigabajtů.

Co kvantizace skutečně stojí

Kvantizace ukládá každou váhu do menšího počtu bitů. Je to hlavní páka, kterou máte k dispozici. GLM-5.3 zabírá 810GB paměti při 8bitové a 223GB při 1bitové — tentýž model, čtvrtina velikosti.¹

Dvě věci se snadno pletou. První je, že velikost souboru na disku není údaj o paměti. Navíc držíte kontext i pracovní stav, takže běžící součet je vyšší než stažený soubor. Zveřejněné tabulky Unsloth s tím počítají, proto je jejich sloupec paměti vyšší než sloupec souboru.

Druhá je, že s ubývajícími bity klesá přesnost, a dole neklesá jemně. Podle vlastních měření Unsloth si GLM-5.3 drží 94.29% nejlepší přesnost v top-1 na 4bitové, 80.93% na 2bitové a 72.56% na 1bitové.¹ Verze s 1 bity je způsob, jak model vidět běžet. Není to model, který byste nasadili pro skutečnou práci.

Tři způsoby, jak se dostat k danému číslu

Jeden fond sjednocené paměti. Na Apple silicon sdílí procesor a grafika stejnou paměť, takže Mac Studio M3 Ultra 512GB může modelu přidělit téměř celou. Je to nejjednodušší cesta k velké kapacitě a také nejtišší. Zároveň je to strop: 512GB je nejvíce sjednocené paměti, kterou Apple prodává, na M3 Ultra dnes a na novějším M5 Ultra, jehož konfigurace 512GB má být k dispozici až koncem října.⁷ Čekání vám nezajistí větší kapacitu.

Grafická karta plus systémová RAM. Modely mixture-of-experts se rozdělují elegantně. Attention vrstvy, kterých se dotýká každý token, jdou na grafickou kartu. Expert vrstvy, které jsou velké, ale zřídka se čtou, zůstávají v systémové paměti. V llama.cpp určuje přepínač --n-cpu-moe, kde se hranice rozdělí. Je to nejlevnější způsob, jak dosáhnout velké kapacity, a přesouvá úzké hrdlo na rychlost vašeho DDR5, protože jakmile experti běží v systémové paměti, jejich rychlost čtení je dána šířkou pásma paměti. Osmikanálová workstation platforma tu má mnohem větší význam než značka na grafické kartě.

Všechno ve VRAM. Nejdřívejší a nejdražší varianta. Čtyři karty NVIDIA RTX PRO 6000 dávají 384GB. HelixML naměřil u GLM-5.3-Flash na čtyřech kartách RTX PRO 6000 Server Edition 63.7 výstupních tokenů za sekundu pro jednu žádost, s prediktivním dekódováním až 82.8 — a uvedl, že se k tomu vůbec dostali jen s připnutým experimentálním buildem.⁸ Podpora nové architektury v den vydání bývá zřídkakdy připravena.

Kontext není zdarma

Každý model v tabulce výše uvádí kontextové okno o jednom milionu tokenů. Udržet tento kontext stojí vlastní paměť, oddělenou od vah, a právě na tuto položku lidé při plánování stroje zapomínají. Kolik jí je potřeba, závisí výhradně na architektuře. DeepSeek uvádí 890 bajtů na token pro V4.1-Flash, která udrží celý jeden milion tokenů pod jedním gigabajtem.⁶ Starší konstrukce jsou mnohem náročnější. Dimenzujte podle vah a pak si nahoře ponechte skutečnou rezervu.

Žebříček

Přečtěte si tabulku jako nákupní seznam a rozpadne se na čtyři stupně.

Do zhruba 32GB běží dobré malé modely. Qwen3.8-27B potřebuje 17GB při 4bitové přesnosti a má vestavěné vidění i uvažování.⁴ Jedna workstation grafická karta to pokryje a je schopnější, než by napovídalo číslo.

Asi kolem 256GB začíná hranice možného. DeepSeek-V4-Flash se vejde bezeztrátově do 169GB, takže model spustíte přesně tak, jak jej autoři vydali, bez jakýchkoli otázek ohledně přesnosti.² MiniMax M3 se vejde na 3bit.³

512GB je v září 2026 ta zajímavá příčka. Právě tam GLM-5.3 běží v 4bitu se zachovanou přesností a také tam leží komunitní sestavení modelu DeepSeek-V4.1-Flash v 4/8bitu. Jediný Mac Studio M3 Ultra 512GB toho dosáhne už dnes v jednom zařízení. Jediný Neox Metal toho dosáhne s 512GB ECC RDIMM a kartou pro uložení attention vrstev.

Za 512GB už spíše stavíte, než kupujete. Kimi K3 potřebuje 610GB v 1bitu a 1.6TB, aby běžel bezeztrátově.⁵ To je na pracovní stanici osmikanálová registrovaná paměť ECC a debata o tom, k čemu model slouží.

Konkrétní modely se budou měnit — tři z těch šesti v daném grafu v červnu ještě neexistovaly. Aritmetika se nezmění. Najděte celkový počet parametrů, zvolte kvantizaci, kterou dokážete obhájit, přidejte kontext a kupte kapacitu. Podrobnosti o tom, co který současný model potřebuje, najdete v našich poznámkách k GLM-5.3 a DeepSeek V4.1-Flash.