DeepSeek V4.1-Flash hardwarekrav

DeepSeek frigav V4.1-Flash den 10. september 2026 under MIT-licensen, med et kontekstvindue på en million tokens og indfødt billedforståelse.¹ Det første spørgsmål, alle stillede, var, om det ville køre på en 128GB maskine, fordi den sidste model, der hed Flash, gjorde det.

Det vil det ikke. V4.1-Flash leveres som 510GB af FP8 vægte fordelt på 48 filer, og komprimeringstrinnet er allerede brugt.² Men det kører lokalt i dag på hardware, du kan købe: en community 2-bit build er målt til 9.46 tokens per sekund på en 256GB Mac Studio M3 Ultra.⁵

• Parametre552B8B ind, 16B ud
• Context1Mtokens
• LicensMITingen omsætningstrigger
• Vægte510GBFP8, 48 filer

Flash beskriver hastigheden, ikke størrelsen

V4.1-Flash indeholder en 552B-parameters backbone og aktiverer 8B parametre, mens den læser din prompt, og 16B, mens den skriver svaret.¹ Det er de små aktive tal, der henviser til "Flash". De afgør, hvor hurtigt den genererer, og hvad det koster pr. token på en API. De fastsætter ikke hukommelsesregningen.

Der er en anden, mindre åbenlys grund til, at filen er så stor. Modellen bærer en to-lags engram, en hashed n-gram embedding, hvis opslagstabeller alene udgør cirka 196B parametre — omkring fyrre procent af checkpointet.⁵ Det er memory, du holder, og som du sjældent regner med, og det er grunden til, at downloadet er større, end backbone-tallet antyder.

Den tidligere model gjorde det let at falde i fælden. DeepSeek-V4-Flash-0731 var 284B i alt med 13B aktive og kørte tabsfrit i 169GB.³ V4.1-Flash rummer omtrent dobbelt så stor backbone under samme produktnavn.

Kvantiseringen er allerede brugt op

Normalt ville en 552B model være en invitation til at kvantisere. DeepSeek gjorde det, før du downloadede den: repositoryet leveres i FP8 med ekspertlagene allerede komprimeret.² Der er mindre tilbage at tage ud end det sædvanlige fire-til-en-snit, som folk forventer af en 4-bit GGUF, og derfor falder community-builds nedenfor ikke så meget, som du skulle tro.

Hvad der faktisk kører det

Det er den del, intet specifikationsark fortæller dig. En ny model kræver, at arkitekturen skrives ind i den motor, du bruger, og V4.1-Flash introducerede en ny: en causal encoder-decoder, fyrre lag arrangeret som en tyvlagers causal encoder efterfulgt af en tyvlagers decoder.¹ Den deepseek_v41 architecture findes ikke i nogen mainstream runtime — hverken Transformers, mlx-lm, mlx-vlm eller llama.cpp.⁴

Det udelukker de nemme veje. Ollama, LM Studio og alt andet bygget på llama.cpp kan ikke indlæse den, og der findes ingen brugbar GGUF. Det udelukker ikke, at den kan køres.

På Apple silicon leverer PipeNetwork-porten den manglende arkitektur, og community MLX-konverteringer leverer vægtene.⁴ På NVIDIA- og AMD-servere udgiver SGLang udviklingscontainer-images til den — lmsysorg/sglang:dev-dsv41 og dev-dsv41-mi35x — før en mærket release. vLLM har åbne pull requests og har pr. 10 september endnu ingen mergede.⁶

Så det her er tidlig software på etableret hardware. Forvent at klone et repository snarere end at skrive én installationskommando, og forvent at det bliver lettere i løbet af de næste få uger snarere end sværere.

Hvilken maskine

2-bit build er den, du skal starte med, og det er virkelig gode nyheder. Den er 238.8GB på disk og toppede på 166.69 GiB proceshukommelse i test, hvilket placerer den inden for en Mac Studio M3 Ultra 256GB med lidt ekstra plads. Dens forfatter målte 9.46 tokens per sekund med greedy decoding på netop den maskine.⁵ Det er ikke hurtigt, og for en 552B model, der svarer fra et skrivebord, er det bemærkelsesværdigt.

Den blandede 4/8-bit build kræver 427GB resident, hvilket en Mac Studio M3 Ultra 512GB kan håndtere, men tæt. Tæt betyder noget her: lad plads til konteksten, for en lang prompt ved denne kontekstlængde er ikke gratis. engram-6-builden vil have omtrent 477GB og en maskine i terabyte-klassen, da et dovent forward pass midlertidigt kan kræve omkring dobbelt så meget som build-størrelsen.⁴

Over 512GB i én boks er der to ærlige veje. Thunderbolt 5 clustering samler unified memory på tværs af flere Macs — macOS 26.2 tilføjede RDMA over Thunderbolt 5 og exo 1.0 understøtter det, så forbundne Mac Studio M3 Ultra 512GB maskiner lægges sammen.⁷ Eller du bygger én workstation med kapaciteten: en Neox Metal på Threadripper PRO-platformen tager otte kanaler registered ECC memory, hvilket er sådan, du når en terabyte i en enkelt maskine, og den samme platform kan rumme RTX PRO 6000 cards, som SGLang-vejen kræver.

Indstillinger

DeepSeek anbefaler en temperatur på 1.0 med top-p på 0.95 eller 1.0, og mindst 256K af max_tokens.¹ Reasoning effort er et kontinuerligt justerbart heltal fra 1 til 100 snarere end low/high/max-kontakten, som andre modeller bruger, så det er værd at finjustere i stedet for at lade det stå på standard.

Ét tal er usædvanligt god. V4.1-Flash bruger 890 bytes pr. token i den globale KV-cache, hvilket holder en fuld kontekst på en million tokens under en gigabyte.¹ På de fleste modeller i denne størrelse er det konteksten, der tvinger den næste hukommelsesopgradering. Her er det vægtene, og kun vægtene.

For aritmetikken bag det hele, se hvor meget hukommelse du har brug for til at køre en åben model lokalt. For den model, der i øjeblikket ligger øverst på de åbne ranglister, se GLM-5.3 hardwarekrav.