DeepSeek V4.1-Flash techninės įrangos reikalavimai

510GB svorių, 8B aktyvus. 2-bit MLX versija veikia Mac Studio M3 Ultra 256GB ir pasiekia 9.5 žetonų per sekundę — bet ne per llama.cpp, Ollama ar LM Studio.

Terminal showing DeepSeek V4.1-Flash at 510GB across 48 safetensors files, llama.cpp failing with unknown model architecture deepseek_v41, and the MLX 2-bit build at 166.69 GiB peak memory and 9.46 tokens per second

DeepSeek išleido V4.1-Flash 10 rugsėjo 2026 pagal MIT licenciją, su vieno milijono tokenų konteksto langu ir natūraliu vaizdų supratimu.1 Pirmasis visų užduotas klausimas buvo, ar jis veiks 128GB kompiuteryje, nes taip veikė ankstesnis modelis, vadintas Flash.

Neveiks. V4.1-Flash pateikiamas kaip 510GB FP8 svorių per 48 failus, o suspaudimo žingsnis jau yra sunaudotas.2 Tačiau jis šiandien veikia lokaliai, naudojant aparatūrą, kurią galite įsigyti: bendruomenės 2 bitų versija buvo išmatuota kaip veikianti 9.46 tokenų per sekundę greičiu su 256GB Mac Studio M3 Ultra.5

  • Parametrai552B8B įvestyje, 16B išvestyje
  • Kontekstas1Mtokenų
  • LicencijaMITnėra pajamų trigerio
  • Svoriai510GBFP8, 48 failai

Flash apibūdina greitį, ne dydį

V4.1-Flash turi 552B parametrų pagrindą ir aktyvuoja 8B parametrų, kai skaito jūsų užklausą, ir 16B, kai rašo atsakymą.1 Tie maži aktyvūs skaičiai ir yra tai, ką reiškia „Flash“. Jie nustato, kaip greitai jis generuoja ir kiek tai kainuoja už tokeną API. Jie nenustato atminties sąskaitos.

Yra antra, mažiau akivaizdi priežastis, kodėl failas toks didelis. Modelis turi dviejų sluoksnių engramą, hashuotą n-gramų įterpinį, kurio vien lookup lentelės sudaro maždaug 196B parametrų — apie keturiasdešimt procentų checkpointo.5 Tai yra atmintis, kurią laikote ir retai skaičiuojate, ir dėl to atsisiuntimas yra didesnis, nei rodytų pagrindinio tinklo skaičius.

Ankstesnis modelis padarė spąstus lengvai įkrintamus. DeepSeek-V4-Flash-0731 buvo 284B iš viso su 13B aktyviais, ir veikė be nuostolių 169GB.3 V4.1-Flash po tuo pačiu produkto pavadinimu turi maždaug dvigubai daugiau pagrindinės dalies.

Kvantizacija jau sunaudota

Paprastai 552B modelis būtų kvietimas kvantizuoti. DeepSeek tai padarė prieš jums jį atsisiunčiant: saugykla pateikiama FP8, o ekspertų sluoksniai jau suspausti.2 Liko mažiau, nei įprastas keturių prie vieno sumažinimas, kurio žmonės tikisi iš 4 bitų GGUF, todėl toliau pateikiami bendruomenės leidimai nenukrenta tiek, kiek galėtumėte manyti.

Kas iš tikrųjų jį paleidžia

Šitos dalies nenurodo jokia specifikacijų lentelė. Naujam modeliui reikia, kad jo architektūra būtų įrašyta į bet kokį naudojamą variklį, ir V4.1-Flash pristatė naują: kauzalinį koduotoją-dekoduotoją, keturiasdešimt sluoksnių, išdėstytų kaip dvidešimties sluoksnių kauzalinį koduotoją, po kurio eina dvidešimties sluoksnių dekoderis.1 deepseek_v41 architektūros nėra jokioje pagrindinėje vykdymo aplinkoje — nei Transformers, nei mlx-lm, nei mlx-vlm, nei llama.cpp.4

Tai atmeta lengvus kelius. Ollama, LM Studio ir visa kita, kas sukurta ant llama.cpp, negali jo įkelti, ir nėra naudingo GGUF. Tai nereiškia, kad jo paleisti neįmanoma.

Apple silicyje PipeNetwork prievadas pateikia trūkstamą architektūrą, o bendruomenės MLX konversijos pateikia svorius.4 NVIDIA ir AMD serveriuose SGLang publikuoja kūrimo konteinerių atvaizdus tam — lmsysorg/sglang:dev-dsv41 ir dev-dsv41-mi35x — prieš pažymėtą leidimą. vLLM turi atvirų pull request'ų ir, 10 rugsėjį, nė vienas nebuvo sujungtas.6

Taigi tai ankstyva programinė įranga ant nusistovėjusios aparatinės įrangos. Tikėkitės klonuoti saugyklą, o ne įvesti vieną diegimo komandą, ir tikėkitės, kad per artimiausias kelias savaites tai taps lengviau, o ne sunkiau.

Ko reikia kiekvienam DeepSeek V4.1-Flash leidimuiAtmintis GB — suvienodinta atmintis „Mac“ kompiuteryje arba sistemos RAM plus VRAM serveryje. September 2026.
  1. MLX 2 bitų167GB
  2. MLX 4/8 bitų427GB
  3. MLX engram-6477GB
  4. FP8 kaip pristatyta510GB

MLX rodikliai yra paskelbtos bendruomenės konversijų reikmės: išmatuota didžiausia proceso atmintis 2 bitų leidimui, nurodyta naudojama atmintis mišriems 4/8 bitų leidimams.45 FP8 reikšmė yra saugyklos bendras dydis Hugging Face.2

Trys bendruomenės MLX leidimai. Visiems jiems reikia PipeNetwork prievado, ne mlx-lm.
Leidimas Diske Atmintis
2 bitų MTP 238.8GB 167GB
Mišrūs 4/8 bitų 427.6GB 427GB
4/8 bitų engram-6 476.8GB 477GB

Kuri mašina

2 bitų leidimas yra tas, nuo kurio verta pradėti, ir tai tikrai gera žinia. Jis yra 238.8GB diske ir testuojant pasiekė 166.69 GiB proceso atminties, todėl telpa į Mac Studio M3 Ultra 256GB su atsarga. Jo autorius toje pačioje mašinoje, naudojant greedy dekodavimą, išmatavo 9.46 žetonų per sekundę.5 Tai nėra greita, o modeliui 552B, atsakančiam nuo stalo, tai yra įspūdinga.

Mišrus 4/8 bitų leidimas reikalauja 427GB naudotos atminties, kurią Mac Studio M3 Ultra 512GB turi, nors ir glaudžiai. Čia svarbi atsarga: palikite vietos kontekstui, nes ilgas užklausa šio konteksto ilgyje nėra nemokama. Engram-6 leidimui reikia maždaug 477GB ir terabaito klasės mašinos, nes vangus forward pass gali laikinai pareikalauti maždaug dvigubai tiek, kiek yra leidimo dydis.4

Virš 512GB viename įrenginyje yra du sąžiningi keliai. Thunderbolt 5 klasterizavimas sujungia suvienodintą atmintį keliuose Mac kompiuteriuose — macOS 26.2 pridėjo RDMA per Thunderbolt 5, o exo 1.0 tai palaiko, todėl sujungti Mac Studio M3 Ultra 512GB įrenginiai susideda.7 Arba susikuriate vieną darbo stotį su tokia talpa: Neox Metal Threadripper PRO platformoje palaiko aštuonis registered ECC memory kanalus, ir taip pasiekiamas terabaitas viename įrenginyje, o ta pati platforma talpina RTX PRO 6000 kortas, kurių reikia SGLang keliui.

Nustatymai

DeepSeek rekomenduoja temperatūrą 1.0, top-p 0.95 arba 1.0, ir bent 256K max_tokens.1 Samprotavimo pastanga yra nuolat valdomas sveikasis skaičius nuo 1 iki 100, o ne žemas/aukštas/maksimalus jungiklis, kurį naudoja kiti modeliai, todėl verta jį derinti, o ne palikti numatytąją reikšmę.

Viena reikšmė yra neįprastai gera. V4.1-Flash naudoja 890 baitų vienam globalios KV podėlio žetono, todėl visa vieno milijono žetonų konteksto apimtis telpa mažiau nei į gigabaitą.1 Daugumoje tokio dydžio modelių būtent kontekstas verčia atnaujinti atmintį. Čia tai svoriai, ir tik svoriai.

Dėl viso to skaičiavimo žr. kiek atminties reikia norint vietoje paleisti atvirą modelį. Apie modelį, šiuo metu esantį atvirų lyderių lentelių viršuje, žr. GLM-5.3 aparatinės įrangos reikalavimai.

Šaltiniai

  1. DeepSeek-V4.1-Flash modelio kortelė, Hugging Face — 552B pagrindas, 8B aktyvus prefill metu ir 16B decode metu, priežastinis encoder-decoder, MIT licencija, 890 baitų vienam žetonui globali KV, atrankos ir reasoningo pastangų nustatymai.
  2. DeepSeek-V4.1-Flash failų sąrašas, Hugging Face — 510GB tarp 48 safetensors šardų FP8.
  3. Unsloth, DeepSeek-V4: Kaip paleisti vietoje — V4-Flash-0731 parametrai, kvantizavimo dydžiai ir atminties reikalavimai.
  4. PipeNetwork, DeepSeek-V4.1-Flash MLX mišrus 4/8-bit ir engram-6 versija — 427.6GB ir 476.8GB diske, rezidentinė atmintis ir pastaba, kad deepseek_v41 neegzistuoja jokioje vykdymo aplinkoje, o prievadas yra PipeNetwork/deepseek-v41-mlx.
  5. Vontra, DeepSeek-V4.1-Flash MLX 2-bit MTP — 238.80GB diske, 166.69 GiB didžiausia proceso atmintis, 9.46 žetonų per sekundę, išmatuota M3 Ultra Mac Studio, ir engram lentelės dydis.
  6. Modem Guides, "DeepSeek V4.1-Flash Hardware Requirements", 10 rugsėjis 2026 — variklių palaikymo apžvalga, įskaitant SGLang kūrimo atvaizdus ir vLLM pull request būseną.
  7. RunAIHome, "Mac Studio Cluster: RDMA Over Thunderbolt 5" — macOS 26.2 RDMA over Thunderbolt 5, JACCL backend ir exo 1.0 klasteriavimas.

More news from Vietinė DI