DeepSeek V4.1-Flash-hårdvarukrav

DeepSeek släppte V4.1-Flash den 10 september 2026 under MIT-licensen, med ett kontextfönster på en miljon token och inbyggd bildförståelse.¹ Den första frågan alla ställde var om den skulle fungera på en 128GB-maskin, eftersom den senaste modellen som kallades Flash gjorde det.

Det gör den inte. V4.1-Flash levereras som 510GB av FP8 vikter över 48 filer, och komprimeringssteget är redan förbrukat.² Men den körs lokalt redan i dag, på hårdvara du kan köpa: en community-2-bit-byggnad har mätts till 9.46 token per sekund på en 256GB Mac Studio M3 Ultra.⁵

• Parametrar552B8B in, 16B ut
• Kontext1Mtoken
• LicensMITingen intäktsgräns
• Vikter510GBFP8, 48 filer

Flash beskriver hastigheten, inte storleken

V4.1-Flash har en 552B-parameterbackbone och aktiverar 8B parametrar medan den läser din prompt och 16B medan den skriver svaret.¹ De små aktiva siffrorna är vad "Flash" syftar på. De avgör hur snabbt den genererar och vad den kostar per token i ett API. De avgör inte minnesåtgången.

Det finns en andra, mindre uppenbar anledning till att filen är så stor. Modellen bär på en tvålagers engram, en hashad n-grams-inbäddning vars uppslagstabeller ensamma står för ungefär 196B parametrar — cirka fyrtio procent av checkpointen.⁵ Det är minne du håller och sällan beräknar med, och det är därför nedladdningen är större än vad backbone-räkningen antyder.

Den tidigare modellen gjorde det lätt att gå i fällan. DeepSeek-V4-Flash-0731 var 284B totalt med 13B aktiva och kördes förlustfritt i 169GB.³ V4.1-Flash har ungefär dubbelt så mycket ryggrad under samma produktnamn.

Kvantiseringen är redan förbrukad

Normalt skulle en 552B modell vara en inbjudan till att kvantisera. DeepSeek gjorde det innan du laddade ner den: repositoryt levereras i FP8 med expertlagren redan komprimerade.² Det finns mindre kvar att ta bort än den vanliga fyra-till-en-minskningen som folk förväntar sig av en 4-bit GGUF, vilket är anledningen till att communitybyggena nedan inte faller lika mycket som du skulle tro.

Vad som faktiskt kör det

Det här är delen ingen specifikationsblad berättar om. En ny modell behöver att dess arkitektur skrivs in i den motor du använder, och V4.1-Flash introducerade en ny sådan: en kausal encoder-decoder, fyrtio lager arrangerade som en tjugo-lagers kausal encoder följd av en tjugo-lagers decoder.¹ Arkitekturen deepseek_v41 finns inte i någon vanlig runtime — inte Transformers, inte mlx-lm, inte mlx-vlm och inte llama.cpp.⁴

Det utesluter de enkla vägarna. Ollama, LM Studio och allt annat byggt på llama.cpp kan inte ladda det, och det finns ingen användbar GGUF. Det utesluter inte att köra det.

På Apple silicon levererar PipeNetwork-porten den saknade arkitekturen och community-MLX-konverteringar levererar vikterna.⁴ På NVIDIA- och AMD-servrar publicerar SGLang utvecklingscontaineravbilder för det — lmsysorg/sglang:dev-dsv41 och dev-dsv41-mi35x — före en taggad release. vLLM har öppna pull requests och, per 10 september, inga sammanslagna.⁶

Så det här är tidig programvara på etablerad hårdvara. Räkna med att klona ett repository i stället för att skriva ett installationskommando, och räkna med att det blir lättare under de närmaste veckorna snarare än svårare.

Vilken maskin

2-bit-bygget är det man ska börja med, och det är verkligen goda nyheter. Det är 238.8GB på disk och nådde en topp på 166.69 GiB processminne i tester, vilket placerar det inom en Mac Studio M3 Ultra 256GB med marginal. Dess författare mätte 9.46 tokens per sekund med greedy decoding på exakt den maskinen.⁵ Det är inte snabbt, och för en 552B modell som svarar från ett skrivbord är det anmärkningsvärt.

Det blandade 4/8-bit-bygget kräver 427GB resident, vilket en Mac Studio M3 Ultra 512GB klarar, med knapp marginal. Knapp marginal är viktigt här: lämna utrymme för kontexten, eftersom en lång prompt vid denna kontextlängd inte är gratis. Engram-6-bygget vill ha ungefär 477GB och en maskin i terabyte-klassen, eftersom en lat forward pass tillfälligt kan behöva ungefär dubbelt så mycket som byggstorleken.⁴

Över 512GB i en enda låda finns det två ärliga vägar. Thunderbolt 5-klustring samlar enhetligt minne över flera Macs — macOS 26.2 lade till RDMA över Thunderbolt 5 och exo 1.0 stöder det, så sammankopplade Mac Studio M3 Ultra 512GB-maskiner läggs ihop.⁷ Eller så bygger du en arbetsstation med kapaciteten: en Neox Metal på Threadripper PRO-plattformen tar åtta kanaler registrerat ECC-minne, vilket är hur du når en terabyte i en enda maskin, och samma plattform rymmer RTX PRO 6000-kort som SGLang-vägen vill ha.

Inställningar

DeepSeek rekommenderar en temperatur på 1.0 med top-p på 0.95 eller 1.0, och minst 256K av max_tokens.¹ Resonemangsinsatsen är ett kontinuerligt styrbart heltal från 1 till 100 snarare än omkopplaren låg/hög/max som andra modeller använder, så det är värt att justera i stället för att låta den stå på standard.

En siffra är ovanligt bra. V4.1-Flash använder 890 byte per token för global KV-cache, vilket håller ett fullständigt sammanhang på en miljon token under en gigabyte.¹ På de flesta modeller i den här storleken är det sammanhanget som tvingar fram nästa minnesuppgradering. Här är det vikterna, och endast vikterna.

För aritmetiken bakom allt detta, se hur mycket minne du behöver för att köra en öppen modell lokalt. För modellen som för närvarande ligger högst på de öppna topplistorna, se GLM-5.3 hårdvarukrav.