DeepSeek V4.1-Flash hardwarevereisten

DeepSeek bracht V4.1-Flash uit op 10 september 2026 onder de MIT-licentie, met een contextvenster van één miljoen tokens en native beeldbegrip.¹ De eerste vraag die iedereen stelde was of het zou draaien op een 128GB machine, omdat het laatste model dat Flash heette dat deed.

Dat doet het niet. V4.1-Flash wordt geleverd als 510GB van FP8 gewichten over 48 bestanden, en de compressiestap is al opgebruikt.² Maar het draait vandaag wel lokaal, op hardware die je kunt kopen: een community 2-bit build is gemeten op 9.46 tokens per seconde op een 256GB Mac Studio M3 Ultra.⁵

• Parameters552B8B in, 16B uit
• Context1Mtokens
• LicentieMITgeen omzetdrempel
• Gewichten510GBFP8, 48 bestanden

Flash beschrijft de snelheid, niet de grootte

V4.1-Flash heeft een 552B-parameter backbone en activeert 8B parameters terwijl het je prompt leest en 16B terwijl het het antwoord schrijft.¹ Die kleine actieve aantallen zijn waar "Flash" naar verwijst. Ze bepalen hoe snel het genereert en wat het per token kost via een API. Ze bepalen niet de geheugenlast.

Er is een tweede, minder voor de hand liggende reden waarom het bestand zo groot is. Het model draagt een twee-laags engram, een gehashte n-gram embedding waarvan de lookup-tabellen alleen al verantwoordelijk zijn voor ongeveer 196B parameters — ongeveer veertig procent van het checkpoint.⁵ Dat is geheugen dat je vasthoudt en zelden mee berekent, en het is waarom de download groter is dan de backbone-aantallen doen vermoeden.

Het vorige model maakte het makkelijk om in de val te trappen. DeepSeek-V4-Flash-0731 had 284B in totaal met 13B actief, en draaide verliesvrij in 169GB.³ V4.1-Flash bevat ongeveer twee keer zoveel backbone onder dezelfde productnaam.

De kwantisering is al opgebruikt

Normaal zou een 552B model een uitnodiging zijn om te kwantiseren. DeepSeek deed dat al voordat je het downloadde: de repository wordt geleverd in FP8 met de expertlagen al gecomprimeerd.² Er valt minder uit te halen dan de gebruikelijke vier-op-één reductie die mensen verwachten van een 4-bit GGUF, en daarom zakken de community-builds hieronder niet zo ver als je zou denken.

Wat het daadwerkelijk laat draaien

Dit is het deel dat geen enkele specificatie vermeldt. Een nieuw model moet zijn architectuur in de engine die je gebruikt laten opnemen, en V4.1-Flash introduceerde een nieuwe: een causale encoder-decoder, veertig lagen gerangschikt als een twintiglaags causale encoder gevolgd door een twintiglaags decoder.¹ De deepseek_v41-architectuur bestaat in geen enkele mainstream runtime — niet in Transformers, niet in mlx-lm, niet in mlx-vlm, en niet in llama.cpp.⁴

Dat sluit de makkelijke routes uit. Ollama, LM Studio en alles wat op llama.cpp is gebouwd kan het niet laden, en er is geen bruikbare GGUF. Het sluit niet uit dat je het kunt draaien.

Op Apple silicon levert de PipeNetwork-port de ontbrekende architectuur en community-MLX-conversies leveren de gewichten.⁴ Op NVIDIA- en AMD-servers publiceert SGLang ontwikkel-containerimages ervoor — lmsysorg/sglang:dev-dsv41 en dev-dsv41-mi35x — vooruitlopend op een getagde release. vLLM heeft open pull requests en, per 10 september, nog geen enkele gemerged.⁶

Dus dit is vroege software op stabiele hardware. Verwacht dat je een repository moet klonen in plaats van één installatiecommando te typen, en verwacht dat dit de komende weken eerder makkelijker dan moeilijker wordt.

Welke machine

De 2-bit build is de beste om mee te beginnen, en dat is echt goed nieuws. Hij is 238.8GB op schijf en piekte tijdens tests op 166.69 GiB procesgeheugen, wat hem binnen een Mac Studio M3 Ultra 256GB plaatst, met ruimte over. De auteur mat 9.46 tokens per seconde met greedy decoding op precies die machine.⁵ Dat is niet snel, en voor een 552B model dat vanaf een bureau antwoorden geeft, is het opmerkelijk.

De gemengde 4/8-bit build vraagt om 427GB resident, wat een Mac Studio M3 Ultra 512GB precies aankan. Strak is hier belangrijk: houd ruimte over voor de context, want een lange prompt bij deze contextlengte is niet gratis. De engram-6 build wil ongeveer 477GB en een machine uit de terabyte-klasse, omdat een luie forward pass tijdelijk ongeveer tweemaal de buildgrootte kan vereisen.⁴

Boven 512GB in één box zijn er twee eerlijke routes. Thunderbolt 5 clustering bundelt unified memory over meerdere Macs — macOS 26.2 voegde RDMA over Thunderbolt 5 toe en exo 1.0 ondersteunt het, dus gekoppelde Mac Studio M3 Ultra 512GB-machines tellen op.⁷ Of je bouwt één workstation met de capaciteit: een Neox Metal op het Threadripper PRO-platform neemt acht kanalen van registered ECC-geheugen, waarmee je in één machine een terabyte bereikt, en hetzelfde platform ondersteunt de RTX PRO 6000 kaarten die de SGLang-route vereist.

Instellingen

DeepSeek raadt een temperatuur van 1.0 aan met top-p op 0.95 of 1.0, en minstens 256K van max_tokens.¹ Reasoning effort is een continu instelbaar geheel getal van 1 tot 100 in plaats van de low/high/max-schakelaar die andere modellen gebruiken, dus het loont om dit af te stemmen in plaats van op de standaardinstelling te laten.

Eén getal is ongewoon goed. V4.1-Flash gebruikt 890 bytes per token van de globale KV-cache, waardoor een volledige context van een miljoen tokens onder een gigabyte blijft.¹ Bij de meeste modellen van deze omvang is de context wat de volgende geheugenupgrade afdwingt. Hier zijn het de weights, en alleen de weights.

Voor de rekenkundige onderbouwing van dit alles, zie hoeveel geheugen je nodig hebt om een open model lokaal uit te voeren. Voor het model dat momenteel bovenaan de open leaderboards staat, zie GLM-5.3 hardwarevereisten.