Колко памет е нужна за локално изпълнение на отворен модел

Отворен модел с отворени тежести е файл. Въпросът, който решава дали можете да го използвате, е прозаичен: побира ли се файлът в паметта на машината ви, наведнъж? Графичната карта, процесорът и резултатите от бенчмарковете идват чак след това. Ако тежестите не се побират, нищо друго няма значение.

Този въпрос стана по-труден през 2026. Най-силните отворени модели вече са едновременно много големи и много разредени. Един модел може да съдържа три четвърти от трилион тежести и да използва само една четиридесета от тях, за да генерира всяка дума. Той работи много по-бързо, отколкото размерът му подсказва, и все пак се нуждае от всеки байт от този размер в паметта.

Общият брой параметри определя сметката. Активните параметри определят скоростта.

Почти всеки водещ отворен модел вече използва смес от експерти. Моделът е разделен на много малки специализирани мрежи. За всеки токен маршрутизатор избира няколко от тях. GLM-5.3 съдържа 744B параметъра и използва около 40B на токен.¹ DeepSeek-V4.1-Flash съдържа гръбнак с 552B и активира 8B параметъра, докато чете, и 16B, докато записва.⁶

Представете си го като референтна библиотека. Четете няколко страници, за да отговорите на въпрос, така че отговорът идва бързо. Все пак ви трябва място на рафта за всяка книга, защото предварително не знаете кои страници ще са ви нужни. Маршрутизаторът променя решението си при всеки токен.

Затова изобщо един 744B модел може да се използва на една машина и защо тази машина все пак се нуждае от стотици гигабайти.

Какво наистина струва квантизацията

Квантизацията съхранява всяка тежест в по-малко битове. Това е основният лост, с който разполагате. GLM-5.3 заема 810GB памет при 8-битова и 223GB при 1-битова — същият модел, с четвърт от обема.¹

Два неща лесно се объркват. Първото е, че размерът на файла на диска не е показателят за памет. Трябва да държите и контекста, и работното състояние, така че общата нужда надхвърля изтеглянето. Публикуваните таблици на Unsloth отчитат това, поради което колоната им за памет показва по-висока стойност от колоната за файла.

Второто е, че точността пада, когато битовете намаляват, и не пада плавно в долния край. Според собствените измервания на Unsloth GLM-5.3 запазва 94.29% top-1 точност при 4-битова, 80.93% при 2-битова и 72.56% при 1-битова.¹ 1-битовата версия е начин да видите модела да работи. Това не е моделът, който бихте поставили зад реална работа.

Три начина да се достигне тази стойност

Един пул от унифицирана памет. На Apple silicon процесорът и графиката споделят една и съща памет, така че Mac Studio M3 Ultra 512GB може да предостави почти цялата ѝ на модел. Това е най-прекият път до голям капацитет и най-тихият. Това е и таванът: 512GB е най-много унифицирана памет, която Apple продава, при M3 Ultra днес и при по-новия M5 Ultra, чиято 512GB конфигурация няма да бъде налична до края на октомври.⁷ Изчакването няма да ви даде повече капацитет.

Графична карта плюс системна RAM. Моделите mixture-of-experts се разделят чисто. Слоевете за attention, които всеки token докосва, се поставят на графичната карта. Експертните слоеве, които са големи, но рядко се четат, остават в системната памет. В llama.cpp флагът --n-cpu-moe управлява къде пада разделянето. Това е най-евтиният начин да достигнете голям капацитет и измества тясното място към скоростта на вашата DDR5, защото щом експертите живеят в системната памет, скоростта на четене е вашата честотна лента на паметта. Платформа за работна станция с осем канала има много по-голямо значение тук от значката върху графичната карта.

Всичко във VRAM. Най-бързият и най-скъпият вариант. Четири NVIDIA RTX PRO 6000 карти дават 384GB. HelixML измери GLM-5.3-Flash на четири RTX PRO 6000 Server Edition карти при 63.7 output tokens per second за една заявка, нараствайки до 82.8 със speculative decoding — и съобщи, че изобщо е било нужно фиксирано експериментално build, за да се стигне дотам.⁸ Поддръжката от първия ден за нова архитектура рядко е готова.

Контекстът не е безплатен

Всеки модел в таблицата по-горе рекламира прозорец за контекст от един милион token. Поддържането на този контекст струва собствена памет, отделно от weights, и това е редът, който хората забравят, когато оразмеряват машина. Колко точно зависи изцяло от архитектурата. DeepSeek публикува 890 bytes per token за V4.1-Flash, който държи пълния един милион token под един gigabyte.⁶ По-старите дизайни са много по-тежки. Оразмерете за weights, а после оставете реален резерв отгоре.

Стълбицата

Четете таблицата като списък за пазаруване и тя се свежда до четири стъпала.

До около 32GB вървят добрите малки модели. Qwen3.8-27B изисква 17GB при 4-bit и има вградени vision и reasoning.⁴ Една графична карта за работна станция покрива това и е по-способна, отколкото подсказва числото.

Около 256GB е мястото, откъдето започва границата. DeepSeek-V4-Flash се побира без загуби в 169GB, така че стартирате модела точно така, както авторите му са го публикували, без изобщо да има въпрос за точността.² MiniMax M3 се побира при 3-bit.³

512GB е интересното стъпало през септември 2026. Там GLM-5.3 работи при 4-bit с непокътната си точност, а общностният 4/8-bit build на DeepSeek-V4.1-Flash е разположен. Един Mac Studio M3 Ultra 512GB достига това в една машина днес. Един Neox Metal достига това с 512GB ECC RDIMM и карта за задържане на слоевете за attention.

След 512GB вече строите, вместо да купувате. Kimi K3 изисква 610GB при 1-bit и 1.6TB, за да работи без загуби.⁵ Това е осемканална registered ECC memory на платформа за работна станция и разговор за това за какво е моделът.

Конкретните модели ще се променят — три от шестте в тази таблица не съществуваха през юни. Аритметиката няма да се промени. Намерете общия брой параметри, изберете quantisation, която можете да защитите, добавете контекста и купете капацитета. За подробности какво изисква всеки текущ модел, вижте нашите бележки за GLM-5.3 и DeepSeek V4.1-Flash.