DeepSeek V4.1-Flashin laitteistovaatimukset

510GB painoista, 8B aktiivinen. 2-bittinen MLX-buildi toimii Mac Studio M3 Ultra 256GB -laitteessa nopeudella 9.5 tokenia sekunnissa — mutta ei llama.cpp:n, Ollaman tai LM Studion kautta.

Terminal showing DeepSeek V4.1-Flash at 510GB across 48 safetensors files, llama.cpp failing with unknown model architecture deepseek_v41, and the MLX 2-bit build at 166.69 GiB peak memory and 9.46 tokens per second

DeepSeek julkaisi V4.1-Flashin 10. syyskuuta 2026 MIT-lisenssillä, ja siinä on miljoonan tokenin konteksti-ikkuna sekä natiivi kuvanymmärtäminen.1 Ensimmäinen kysymys, jonka kaikki esittivät, oli toimiiko se 128GB-koneessa, koska viimeinen Flash-niminen malli toimi.

Ei toimi. V4.1-Flash toimitetaan 510GB:na FP8 painoa 48 tiedostossa, ja pakkausvaihe on jo käytetty loppuun.2 Se toimii kuitenkin paikallisesti jo tänään, laitteistolla jonka voit ostaa: yhteisön 2-bittinen build on mitattu 9.46 tokenia sekunnissa 256GB Mac Studio M3 Ultralla.5

  • Parametrit552B8B sisään, 16B ulos
  • Konteksti1Mtokenia
  • LisenssiMITei liikevaihtorajaa
  • Painot510GBFP8, 48 tiedostoa

Flash kuvaa nopeutta, ei kokoa

V4.1-Flashissa on 552B-parametrinen runko, ja se aktivoi 8B parametria, kun se lukee kehotteesi, ja 16B parametria, kun se kirjoittaa vastauksen.1 Nuo pienet aktiiviset luvut ovat se, mihin "Flash" viittaa. Ne määräävät, kuinka nopeasti se tuottaa tekstiä ja mitä se maksaa tokenia kohden API:ssa. Ne eivät määrää muistilaskua.

On toinenkin, vähemmän ilmeinen syy sille, miksi tiedosto on niin suuri. Mallissa on kaksikerroksinen engrammi, hajautettu n-grammi-embeddi, jonka hakutaulut vastaavat yksinään suunnilleen 196B parametria — noin neljäkymmentä prosenttia checkpointista.5 Se on muistia, jota pidät hallussa ja jota käytät harvoin laskemiseen, ja siksi lataus on suurempi kuin rungon parametrit antaisivat ymmärtää.

Edellinen malli teki ansasta helposti astuttavan. DeepSeek-V4-Flash-0731 oli 284B yhteensä, kun aktiivisia oli 13B, ja se toimi häviöttömästi 169GB.3 V4.1-Flash kantaa suunnilleen kaksinkertaisen rungon saman tuotenimen alla.

Kvantisointi on jo käytetty loppuun

Normaalisti 552B-malli olisi kutsu kvantisoida. DeepSeek teki sen ennen kuin latasit sen: arkisto toimitetaan FP8-muodossa, ja asiantuntijakerrokset on jo pakattu.2 Jäljellä on vähemmän purettavaa kuin tavallinen neljästä yhteen -leikkaus, jota ihmiset odottavat 4-bittiseltä GGUF:lta, minkä vuoksi alla olevat yhteisön rakennelmat eivät pudotakaan niin paljon kuin luulisi.

Mikä sitä oikeasti ajaa

Tämä on se osa, josta yksikään tekninen tietoarkki ei kerro. Uuden mallin arkkitehtuuri täytyy kirjoittaa siihen moottoriin, jota käytät, ja V4.1-Flash toi mukanaan uuden: kausaalisen encoder-decoderin, neljäkymmentä kerrosta, jotka on jaettu kaksikymmenkerroksiseksi kausaaliseksi enkooderiksi ja sitä seuraavaksi kaksikymmenkerroksiseksi dekooderiksi.1 deepseek_v41-arkkitehtuuria ei ole yhdessäkään valtavirran ajonaikaisessa ympäristössä — ei Transformersissa, ei mlx-lm:ssä, ei mlx-vlm:ssä eikä llama.cpp:ssä.4

Se sulkee pois helpot reitit. Ollama, LM Studio ja kaikki muu llama.cpp:n päälle rakennettu eivät voi ladata sitä, eikä käyttökelpoista GGUFia ole. Se ei sulje pois sen ajamista.

Applen siliconilla PipeNetwork-porttaus tarjoaa puuttuvan arkkitehtuurin ja yhteisön MLX-muunnokset tarjoavat painot.4 NVIDIA- ja AMD-palvelimilla SGLang julkaisee sille kehityskonttikuvia — lmsysorg/sglang:dev-dsv41 ja dev-dsv41-mi35x — ennen merkittyä julkaisua. vLLM:ssä on avoimia pull requesteja, ja 10 syyskuun tilanteessa yhtään ei ole yhdistetty.6

Tämä on siis varhaista ohjelmistoa vakiintuneella laitteistolla. Varaudu kloonaamaan arkisto sen sijaan, että kirjoittaisit yhden asennuskomennon, ja varaudu siihen, että tästä tulee helpompaa seuraavien viikkojen aikana eikä vaikeampaa.

Mitä kukin DeepSeek V4.1-Flash-rakenne tarvitseeMuisti GB:inä — yhtenäinen muisti Macissa tai järjestelmä-RAM plus VRAM palvelimella. Syyskuu 2026.
  1. MLX 2-bittinen167GB
  2. MLX 4/8-bittinen427GB
  3. MLX engram-6477GB
  4. FP8 toimitusversiona510GB

MLX-luvut ovat yhteisömuunnosten julkaistut vaatimukset: mitattu prosessin huippumuisti 2-bittiselle rakennelmalle, ilmoitettu residenttimuisti sekamuotoisille 4/8-bittisille rakennelmille.45 FP8-luku on arkiston kokonaismäärä Hugging Facessa.2

Kolme yhteisön MLX-rakennetta. Ne kaikki tarvitsevat PipeNetwork-portin, eivät mlx-lm:ää.
Rakenne Levyllä Muisti
2-bittinen MTP 238.8GB 167GB
Sekamuotoinen 4/8-bittinen 427.6GB 427GB
4/8-bittinen engram-6 476.8GB 477GB

Mikä kone

2-bittinen rakennelma on se, jolla kannattaa aloittaa, ja se on aidosti hyvä uutinen. Se on 238.8GB levytilaa ja huippu oli 166.69 GiB prosessimuistia testauksessa, joten se mahtuu Mac Studio M3 Ultra 256GB:aan ja vielä jää tilaa. Sen tekijä mittasi 9.46 tokenia sekunnissa ahneella purkamisella juuri tuolla koneella.5 Se ei ole nopea, ja 552B-mallille, joka vastaa työpöydältä, se on huomattava.

Sekamuotoinen 4/8-bittinen rakennelma vaatii 427GB residenttimuistia, jonka Mac Studio M3 Ultra 512GB tarjoaa tiukasti. Tiukkuus merkitsee tässä: jätä tilaa kontekstille, koska pitkä kehote tällä kontekstipituudella ei ole ilmainen. Engram-6-rakennelma haluaa suunnilleen 477GB ja teratavu-luokan koneen, koska laiska eteenpäinajo voi tilapäisesti tarvita noin kaksinkertaisesti rakennelman koon.4

Yli 512GB yhdessä laatikossa on kaksi rehellistä reittiä. Thunderbolt 5 -klusterointi kokoaa yhtenäisen muistin usean Macin yli — macOS 26.2 lisäsi RDMA:n Thunderbolt 5:n yli ja exo 1.0 tukee sitä, joten linkitetyt Mac Studio M3 Ultra 512GB -koneet summautuvat.7 Tai rakennat yhden työaseman kapasiteetilla: Neox Metal Threadripper PRO -alustalla ottaa kahdeksan kanavaa rekisteröityä ECC-muistia, ja näin pääset teratavuun yhdessä koneessa, ja sama alusta kestää RTX PRO 6000 -kortit, joita SGLang-reitti vaatii.

Asetukset

DeepSeek suosittelee lämpötilaksi 1.0 ja top-p:ksi 0.95 tai 1.0, sekä vähintään 256K max_tokens.1 Päättelypanos on jatkuvasti säädettävä kokonaisluku 1:sta 100:een, ei muiden mallien käyttämä low/high/max-kytkin, joten sitä kannattaa säätää eikä jättää oletusarvoon.

Yksi luku on poikkeuksellisen hyvä. V4.1-Flash käyttää 890 tavua per globaalin KV-välimuistin token, mikä pitää täyden miljoonan tokenin kontekstin alle gigatavun.1 Useimmissa tämän kokoisissa malleissa juuri konteksti pakottaa seuraavan muistipäivityksen. Tässä se on painot, ja vain painot.

Jos haluat nähdä tämän kaiken taustalla olevan laskennan, katso kuinka paljon muistia tarvitset avoimen mallin ajamiseen paikallisesti. Jos haluat nähdä nykyisin avoimien vertailulistojen kärjessä olevan mallin, katso GLM-5.3 laitevaatimukset.

Lähteet

  1. DeepSeek-V4.1-Flash model card, Hugging Face — 552B runkoverkko, 8B aktiivinen prefill-vaiheessa ja 16B decode-vaiheessa, syy-seuraus-encoder-decoder, MIT-lisenssi, 890 tavua per token globaalissa KV:ssä, näytteenotto- ja reasoning-effort-asetukset.
  2. DeepSeek-V4.1-Flash file listing, Hugging Face — 510GB yli 48 safetensors-shardin FP8.
  3. Unsloth, DeepSeek-V4: How to Run Locally — V4-Flash-0731 parametria, kvantisointikoot ja muistivaatimukset.
  4. PipeNetwork, DeepSeek-V4.1-Flash MLX mixed 4/8-bit and the engram-6 build — 427.6GB ja 476.8GB levyllä, muistissa käytössä, sekä huomio, että deepseek_v41 ei ole missään ajonaikaisessa ympäristössä, ja portti on osoitteessa PipeNetwork/deepseek-v41-mlx.
  5. Vontra, DeepSeek-V4.1-Flash MLX 2-bit MTP — 238.80GB levyllä, 166.69 GiB huippuprosessimuistia, 9.46 tokenia sekunnissa mitattuna M3 Ultra Mac Studio -laitteella, sekä engram-taulukon koko.
  6. Modem Guides, "DeepSeek V4.1-Flash Hardware Requirements", 10 September 2026 — katsaus moottoritukeen, mukaan lukien SGLang-kehityskuvat ja vLLM-pyyntöjen tila.
  7. RunAIHome, "Mac Studio Cluster: RDMA Over Thunderbolt 5" — macOS 26.2 RDMA over Thunderbolt 5, JACCL-backend ja exo 1.0 -klusterointi.

More news from Paikallinen tekoäly