Quanta memoria serve per eseguire localmente un modello open

Un modello open-weight è un file. La domanda che decide se puoi usarlo è poco glamour: il file entra nella memoria della tua macchina, tutto in una volta? La scheda grafica, il processore e i punteggi dei benchmark vengono tutti dopo. Se i pesi non entrano, non conta nient’altro.

Questa domanda è diventata più difficile in 2026. I modelli open più forti sono ormai molto grandi e molto sparsi allo stesso tempo. Un modello può contenere tre quarti di trilione di pesi e toccarne solo un quarantesimo per produrre ogni parola. Funziona molto più velocemente di quanto suggerisca la sua dimensione, e ha comunque bisogno di ogni byte di quella dimensione in memoria.

I parametri totali determinano il costo. I parametri attivi determinano la velocità.

Quasi tutti i modelli open di frontiera ora usano una miscela di esperti. Il modello è suddiviso in molte piccole reti specialistiche. Per ogni token, un router ne sceglie alcune. GLM-5.3 ha 744B parametri e ne usa circa 40B per token.¹ DeepSeek-V4.1-Flash ha un backbone da 552B e attiva 8B parametri mentre legge e 16B mentre scrive.⁶

Pensalo come a una biblioteca di riferimento. Leggi poche pagine per rispondere a una domanda, così la risposta arriva in fretta. Ti serve comunque spazio sugli scaffali per ogni libro, perché non sai in anticipo quali pagine ti serviranno. Il router cambia idea a ogni token.

Ecco perché un modello 744B è utilizzabile su una sola macchina, e perché quella macchina ha comunque bisogno di centinaia di gigabyte.

Quanto costa davvero la quantizzazione

La quantizzazione memorizza ogni peso in meno bit. È la leva principale che hai a disposizione. GLM-5.3 richiede 810GB di memoria a 8 bit e 223GB a 1 bit — lo stesso modello, un quarto dell’ingombro.¹

Due cose sono facili da sbagliare. La prima è che la dimensione del file su disco non coincide con il dato in memoria. Devi inoltre tenere in memoria il contesto e lo stato di lavoro, quindi il totale in esecuzione è superiore al download. Le tabelle pubblicate da Unsloth tengono conto di questo, ed è per questo che la loro colonna della memoria riporta valori più alti della colonna del file.

La seconda è che l’accuratezza cala man mano che si riducono i bit, e non cala dolcemente nella fascia più bassa. Secondo le misurazioni di Unsloth, GLM-5.3 mantiene 94.29% accuratezza top-1 a 4 bit, 80.93% a 2 bit e 72.56% a 1 bit.¹ La build a 1 bit è un modo per vedere il modello in esecuzione. Non è il modello che useresti per lavoro reale.

Tre modi per raggiungere il numero

Un unico pool di memoria unificata. Su Apple silicon, il processore e la grafica condividono la stessa memoria, quindi un Mac Studio M3 Ultra 512GB può destinarne quasi tutta a un modello. È la via più semplice per arrivare a una capacità elevata, ed è anche la più silenziosa. È anche il limite massimo: 512GB è la memoria unificata massima che Apple vende, oggi su M3 Ultra e sul più recente M5 Ultra, la cui configurazione 512GB non è prevista prima di fine ottobre.⁷ Aspettare non ti fa guadagnare più capacità.

Una scheda grafica più la RAM di sistema. I modelli mixture-of-experts si dividono in modo pulito. I layer di attention, che ogni token tocca, vanno sulla scheda grafica. I layer expert, che sono grandi ma raramente letti, restano nella memoria di sistema. In llama.cpp, il flag --n-cpu-moe controlla il punto in cui avviene la divisione. È il modo più economico per raggiungere una capacità elevata, e sposta il collo di bottiglia alla velocità della tua DDR5, perché una volta che gli expert vivono nella memoria di sistema, la loro velocità di lettura coincide con la banda passante della memoria. Una piattaforma workstation a otto canali conta molto più qui del marchio sulla scheda grafica.

Tutto nella VRAM. Il più veloce e il più costoso. Quattro schede NVIDIA RTX PRO 6000 danno 384GB. HelixML ha misurato GLM-5.3-Flash su quattro schede RTX PRO 6000 Server Edition a 63.7 token di output al secondo per una singola richiesta, salendo a 82.8 con speculative decoding — e ha riferito che per arrivarci è servita comunque una build sperimentale bloccata.⁸ Il supporto day-zero per una nuova architettura raramente è pronto.

Il contesto non è gratis

Tutti i modelli nella tabella sopra dichiarano una finestra di contesto da un milione di token. Mantenere quel contesto richiede memoria propria, separata dai pesi, ed è il dettaglio che spesso si dimentica quando si dimensiona una macchina. Quanto serve dipende interamente dall'architettura. DeepSeek pubblica 890 byte per token per V4.1-Flash, che mantiene un milione pieno di token sotto un gigabyte.⁶ I modelli più vecchi sono molto più pesanti. Dimensiona per i pesi, poi lascia un margine reale in più sopra.

La scala

Leggi la tabella come una lista della spesa e si riduce a quattro gradini.

Fino a circa 32GB girano i buoni modelli piccoli. Qwen3.8-27B richiede 17GB a 4 bit e ha visione e ragionamento integrati.⁴ Una singola scheda grafica workstation copre questo livello, ed è più capace di quanto il numero suggerisca.

Intorno a 256GB è dove comincia la frontiera. DeepSeek-V4-Flash entra senza perdita in 169GB, quindi esegui il modello esattamente come lo hanno distribuito i suoi autori, senza alcun dubbio sulla precisione.² MiniMax M3 entra a 3 bit.³

512GB è il gradino interessante a settembre 2026. È qui che GLM-5.3 gira a 4 bit con la sua precisione intatta, e dove si colloca la build della comunità 4/8 bit di DeepSeek-V4.1-Flash. Un Mac Studio M3 Ultra 512GB lo raggiunge oggi in un unico box. Un Neox Metal lo raggiunge con 512GB di ECC RDIMM e una scheda per ospitare i layer di attention.

Oltre 512GB stai costruendo, non acquistando. Kimi K3 richiede 610GB a 1 bit e 1.6TB per funzionare senza perdita.⁵ Si tratta di memoria ECC registrata a canali su una piattaforma workstation, e di una conversazione su quale sia lo scopo del modello.

I modelli specifici cambieranno — tre dei sei in quella tabella non esistevano a giugno. L'aritmetica no. Trova il numero totale di parametri, scegli una quantizzazione che puoi difendere, aggiungi il contesto e compra la capacità. Per i dettagli su ciò di cui ha bisogno ciascun modello attuale, vedi le nostre note su GLM-5.3 e DeepSeek V4.1-Flash.