Requisiti hardware di DeepSeek V4.1-Flash

510GB di pesi, 8B attivo. Una build MLX a 2 bit gira su un Mac Studio M3 Ultra 256GB a 9.5 token al secondo — ma non tramite llama.cpp, Ollama o LM Studio.

Terminal showing DeepSeek V4.1-Flash at 510GB across 48 safetensors files, llama.cpp failing with unknown model architecture deepseek_v41, and the MLX 2-bit build at 166.69 GiB peak memory and 9.46 tokens per second

DeepSeek ha rilasciato V4.1-Flash il 10 settembre 2026 sotto licenza MIT, con una finestra di contesto da un milione di token e comprensione nativa delle immagini.1 La prima domanda che tutti si sono posti è stata se sarebbe riuscito a girare su una macchina 128GB, perché lo faceva anche l'ultimo modello chiamato Flash.

Non lo farà. V4.1-Flash viene fornito come 510GB di pesi FP8 attraverso 48 file, e il passaggio di compressione è già stato sfruttato.2 Ma oggi gira localmente, su hardware che puoi acquistare: una build community a 2 bit è stata misurata a 9.46 token al secondo su un Mac Studio 256GB Ultra da M3.5

  • Parametri552B8B in, 16B out
  • Contesto1Mtoken
  • LicenzaMITnessun trigger di fatturato
  • Pesi510GBFP8, 48 file

Flash descrive la velocità, non la dimensione

V4.1-Flash mantiene una dorsale da 552B parametri e attiva 8B parametri mentre legge il tuo prompt e 16B mentre scrive la risposta.1 Quei piccoli valori attivi sono ciò a cui si riferisce "Flash". Determinano quanto velocemente genera e quanto costa per token su un'API. Non determinano il costo di memoria.

C'è una seconda ragione, meno ovvia, per cui il file è così grande. Il modello porta con sé un engramma a due livelli, un embedding n-gram hashato le cui tabelle di lookup da sole rappresentano circa 196B parametri — circa il quaranta percento del checkpoint.5 Si tratta di memoria che tieni e con cui raramente esegui calcoli, ed è per questo che il download è più grande di quanto suggerisca il conteggio della dorsale.

Il modello precedente rendeva facile cadere nella trappola. DeepSeek-V4-Flash-0731 era 284B in totale con 13B attivi, e funzionava senza perdita in 169GB.3 V4.1-Flash contiene all'incirca il doppio della struttura di base sotto lo stesso nome di prodotto.

La quantizzazione è già stata spesa

Di norma un modello 552B sarebbe un invito a quantizzare. DeepSeek l'ha fatto prima che lo scaricassi: il repository viene fornito in FP8 con i livelli esperti già compressi.2 C'è meno da togliere rispetto al solito taglio quattro a uno che ci si aspetta da un GGUF a 4 bit, ed è per questo che le build della community riportate sotto non calano quanto penseresti.

Ciò che lo esegue davvero

Questa è la parte che nessuna scheda tecnica ti dice. Un nuovo modello deve avere la propria architettura scritta nel motore che utilizzi, e V4.1-Flash ne ha introdotta una nuova: un encoder-decoder causale, quaranta livelli disposti come un encoder causale a venti livelli seguito da un decoder a venti livelli.1 L'architettura deepseek_v41 non esiste in nessun runtime mainstream — non in Transformers, non in mlx-lm, non in mlx-vlm e non in llama.cpp.4

Questo esclude le soluzioni più semplici. Ollama, LM Studio e qualsiasi altra cosa basata su llama.cpp non possono caricarlo e non esiste alcun GGUF utilizzabile. Non esclude però l'esecuzione.

Su Apple silicon, il port di PipeNetwork fornisce l'architettura mancante e le conversioni MLX della community forniscono i pesi.4 Su server NVIDIA e AMD, SGLang pubblica immagini container di sviluppo per questo modello — lmsysorg/sglang:dev-dsv41 e dev-dsv41-mi35x — prima di una release con tag. vLLM ha pull request aperte e, a 10 settembre, nessuna è stata unita.6

Quindi questo è software iniziale su hardware consolidato. Aspettati di clonare un repository invece di digitare un solo comando di installazione, e aspettati che nei prossimi giorni diventi più semplice, non più difficile.

Di cosa ha bisogno ciascuna build di DeepSeek V4.1-FlashMemoria in GB — memoria unificata su un Mac, oppure RAM di sistema più VRAM su un server. Settembre 2026.
  1. MLX 2-bit167GB
  2. MLX 4/8-bit427GB
  3. MLX engram-6477GB
  4. FP8 come fornito510GB

I valori MLX sono i requisiti pubblicati per le conversioni della community: memoria di picco del processo misurata per la build a 2 bit, memoria residente dichiarata per le build miste a 4/8 bit.45 La cifra FP8 è il totale del repository su Hugging Face.2

Le tre build MLX della community. Tutte richiedono la porta PipeNetwork, non mlx-lm.
Build Su disco Memoria
2-bit MTP 238.8GB 167GB
Misto 4/8-bit 427.6GB 427GB
4/8-bit engram-6 476.8GB 477GB

Quale macchina

La build a 2 bit è quella da cui partire, ed è davvero una buona notizia. Occupa 238.8GB su disco e ha raggiunto un picco di 166.69 GiB di memoria di processo nei test, il che la colloca dentro un Mac Studio M3 Ultra 256GB con margine. Il suo autore ha misurato 9.46 token al secondo con greedy decoding proprio su quella macchina.5 Non è veloce, e per un modello 552B che risponde da una scrivania è notevole.

La build mista a 4/8 bit richiede 427GB residenti, che un Mac Studio M3 Ultra 512GB contiene, ma appena. Qui il margine conta: lascia spazio per il contesto, perché un prompt lungo a questa lunghezza di contesto non è gratuito. La build engram-6 vuole circa 477GB e una macchina di classe terabyte, poiché un forward pass pigro può richiedere in modo transitorio circa il doppio della dimensione della build.4

Oltre 512GB in una sola macchina ci sono due strade oneste. Il clustering Thunderbolt 5 aggrega la memoria unificata su più Mac — macOS 26.2 ha aggiunto RDMA su Thunderbolt 5 ed exo 1.0 lo supporta, quindi i Mac Studio M3 Ultra 512GB collegati fanno la somma.7 Oppure si costruisce una workstation con la capacità necessaria: un Neox Metal sulla piattaforma Threadripper PRO supporta otto canali di memoria ECC registrata, ed è così che si raggiunge un terabyte in una singola macchina, e la stessa piattaforma ospita le schede RTX PRO 6000 che richiede il percorso SGLang.

Impostazioni

DeepSeek consiglia una temperatura di 1.0 con top-p a 0.95 o 1.0, e almeno 256K di max_tokens.1 Il livello di sforzo di ragionamento è un intero regolabile in modo continuo da 1 a 100, anziché l'interruttore low/high/max usato da altri modelli, quindi vale la pena ottimizzarlo invece di lasciarlo su un valore predefinito.

Un numero è insolitamente buono. V4.1-Flash usa 890 byte per token di cache KV globale, mantenendo un contesto completo da un milione di token sotto un gigabyte.1 Nella maggior parte dei modelli di queste dimensioni è il contesto a imporre il successivo upgrade della memoria. Qui sono i pesi, e solo i pesi.

Per l'aritmetica alla base di tutto questo, vedi quanta memoria serve per eseguire localmente un modello open. Per il modello attualmente in cima alle classifiche open, vedi GLM-5.3 requisiti hardware.

Fonti

  1. DeepSeek-V4.1-Flash model card, Hugging Face — 552B backbone, 8B attivo su prefill e 16B su decode, causal encoder-decoder, licenza MIT, 890 byte per token KV globale, impostazioni di sampling e reasoning-effort.
  2. DeepSeek-V4.1-Flash file listing, Hugging Face — 510GB tra 48 shard safetensors in FP8.
  3. Unsloth, DeepSeek-V4: How to Run Locally — V4-Flash-0731 parametri, dimensioni della quantizzazione e requisiti di memoria.
  4. PipeNetwork, DeepSeek-V4.1-Flash MLX mixed 4/8-bit e the engram-6 build — 427.6GB e 476.8GB su disco, memoria residente e la nota che deepseek_v41 non esiste in nessun runtime, con la porta su PipeNetwork/deepseek-v41-mlx.
  5. Vontra, DeepSeek-V4.1-Flash MLX 2-bit MTP — 238.80GB su disco, 166.69 GiB di memoria di processo di picco, 9.46 token al secondo misurati su un M3 Ultra Mac Studio e la dimensione della tabella engram.
  6. Modem Guides, "DeepSeek V4.1-Flash Hardware Requirements", 10 September 2026 — panoramica del supporto dei motori, incluse le immagini di sviluppo SGLang e lo stato delle pull request di vLLM.
  7. RunAIHome, "Mac Studio Cluster: RDMA Over Thunderbolt 5" — macOS 26.2 RDMA over Thunderbolt 5, il backend JACCL e il clustering exo 1.0.