Quanta memória é necessária para executar um modelo aberto localmente

Um modelo open-weight é um ficheiro. A questão que decide se o pode usar é pouco glamorosa: o ficheiro cabe na memória da sua máquina, tudo de uma vez? A placa gráfica, o processador e as pontuações de benchmark ficam em segundo plano. Se os weights não couberem, nada mais importa.

Essa questão ficou mais difícil em 2026. Os modelos abertos mais fortes são agora muito grandes e muito esparsos ao mesmo tempo. Um modelo pode ter três quartos de um bilião de weights e tocar apenas numa quadragésima parte deles para produzir cada palavra. Corre muito mais depressa do que o seu tamanho sugere, e continua a precisar de cada byte desse tamanho na memória.

Os parâmetros totais definem a fatura. Os parâmetros ativos definem a velocidade.

Quase todos os modelos abertos de fronteira usam agora uma mistura de especialistas. O modelo é dividido em muitas pequenas redes especializadas. Para cada token, um router escolhe algumas delas. O GLM-5.3 tem 744B parâmetros e usa cerca de 40B por token.¹ O DeepSeek-V4.1-Flash tem um backbone de 552B e ativa 8B parâmetros enquanto lê e 16B enquanto escreve.⁶

Pense nisso como uma biblioteca de referência. Lê-se algumas páginas para responder a uma pergunta, por isso a resposta chega depressa. Ainda precisa de espaço nas prateleiras para todos os livros, porque não sabe antecipadamente de que páginas vai precisar. O router muda de ideias em cada token.

É por isso que um modelo 744B é utilizável num único computador de todo, e porque esse computador ainda precisa de centenas de gigabytes.

O que a quantização realmente custa

A quantização armazena cada weight em menos bits. É a principal alavanca de que dispõe. O GLM-5.3 ocupa 810GB de memória a 8-bit e 223GB a 1-bit — o mesmo modelo, um quarto do espaço ocupado.¹

Duas coisas são fáceis de interpretar mal. A primeira é que o tamanho do ficheiro no disco não é a cifra de memória. Também se mantém o contexto e o estado de trabalho, por isso o total em execução fica acima do descarregamento. As tabelas publicadas da Unsloth têm isto em conta, razão pela qual a coluna de memória apresenta valores superiores aos da coluna de ficheiro.

A segunda é que a precisão cai à medida que os bits diminuem, e não cai suavemente na parte inferior. Nas medições próprias da Unsloth, o GLM-5.3 mantém 94.29% precisão top-1 a 4-bit, 80.93% a 2-bit e 72.56% a 1-bit.¹ A versão de 1-bit é uma forma de ver o modelo a correr. Não é o modelo que colocaria por trás de trabalho real.

Três formas de chegar ao número

Um único conjunto de memória unificada. No Apple silicon, o processador e os gráficos partilham a mesma memória, por isso um Mac Studio M3 Ultra 512GB pode atribuir quase toda ela a um modelo. Este é o caminho mais simples para uma grande capacidade e também o mais silencioso. É igualmente o limite máximo: 512GB é a memória unificada máxima que a Apple vende, no M3 Ultra atual e no mais recente M5 Ultra, cuja configuração 512GB só está prevista para o fim de outubro.⁷ Esperar não lhe dá mais capacidade.

Uma placa gráfica mais RAM do sistema. Os modelos mixture-of-experts dividem-se de forma clara. As camadas de atenção, que todos os tokens tocam, ficam na placa gráfica. As camadas expert, que são grandes mas raramente lidas, permanecem na memória do sistema. No llama.cpp, a flag --n-cpu-moe controla onde fica a divisão. Esta é a forma mais económica de atingir uma grande capacidade e transfere o estrangulamento para a velocidade do seu DDR5, porque, quando os experts passam a viver na memória do sistema, a velocidade de leitura deles é a largura de banda da sua memória. Uma plataforma de workstation com oito canais conta aqui muito mais do que o emblema da placa gráfica.

Tudo na VRAM. A mais rápida e a mais cara. Quatro placas NVIDIA RTX PRO 6000 dão 384GB. A HelixML mediu o GLM-5.3-Flash em quatro placas RTX PRO 6000 Server Edition a 63.7 tokens de saída por segundo para um único pedido, subindo para 82.8 com speculative decoding — e relatou que foi necessária uma compilação experimental fixada para sequer conseguir isso.⁸ O suporte day-zero para uma nova arquitetura raramente está pronto.

O contexto não é gratuito

Todos os modelos no gráfico acima anunciam uma janela de contexto de um milhão de tokens. Manter esse contexto custa memória própria, separada dos weights, e é a linha que as pessoas esquecem quando dimensionam uma máquina. Quanto depende inteiramente da arquitetura. A DeepSeek publica 890 bytes por token para V4.1-Flash, que mantém um milhão de tokens abaixo de um gigabyte.⁶ Os designs mais antigos são muito mais pesados. Dimensione para os weights e, depois, deixe margem real por cima.

A escada

Leia o gráfico como uma lista de compras e ele resolve-se em quatro degraus.

Até cerca de 32GB correm os bons modelos pequenos. Qwen3.8-27B precisa de 17GB a 4 bits e tem visão e raciocínio incorporados.⁴ Uma única placa gráfica de workstation cobre isto e é mais capaz do que o número sugere.

Por volta de 256GB é onde a fronteira começa. O DeepSeek-V4-Flash cabe sem perda em 169GB, por isso corre o modelo exatamente como os autores o disponibilizaram, sem qualquer questão de precisão.² O MiniMax M3 cabe a 3 bits.³

512GB é o degrau interessante em setembro 2026. É aqui que o GLM-5.3 corre a 4 bits com a precisão intacta, e onde a build comunitária 4/8 bits do DeepSeek-V4.1-Flash fica alojada. Um Mac Studio M3 Ultra 512GB chega lá numa única máquina hoje. Um Neox Metal chega lá com 512GB de ECC RDIMM e uma placa para suportar as camadas de atenção.

Depois de 512GB, está a construir em vez de comprar. O Kimi K3 precisa de 610GB a 1 bits e 1.6TB para correr sem perda.⁵ Isso são oito canais de memória ECC registered numa plataforma de workstation, e uma conversa sobre para que serve o modelo.

Os modelos específicos vão mudar — três dos seis nesse gráfico não existiam em junho. A aritmética não mudará. Encontre o total de parâmetros, escolha uma quantização que possa defender, some o contexto e compre a capacidade. Para saber em detalhe o que cada modelo atual precisa, veja as nossas notas sobre GLM-5.3 e DeepSeek V4.1-Flash.