Cuánta memoria se necesita para ejecutar un modelo abierto localmente

Un modelo de peso abierto es un archivo. La cuestión que determina si puedes usarlo es prosaica: ¿cabe el archivo en la memoria de tu máquina, todo a la vez? La tarjeta gráfica, el procesador y las puntuaciones de referencia vienen después. Si los pesos no caben, nada más importa.

Esa cuestión se volvió más difícil en 2026. Los modelos abiertos más potentes ahora son muy grandes y muy escasos a la vez. Un modelo puede contener tres cuartos de billón de pesos y tocar solo una cuadragésima parte de ellos para producir cada palabra. Funciona mucho más rápido de lo que su tamaño sugiere y aun así necesita cada byte de ese tamaño en la memoria.

Los parámetros totales determinan la factura. Los parámetros activos determinan la velocidad.

Casi todos los modelos abiertos de vanguardia usan una mezcla de expertos. El modelo se divide en muchas redes pequeñas especializadas. Para cada token, un enrutador elige unas pocas de ellas. GLM-5.3 tiene 744B parámetros y usa unos 40B por token.¹ DeepSeek-V4.1-Flash tiene un núcleo de 552B y activa 8B parámetros mientras lee y 16B mientras escribe.⁶

Piensa en ello como una biblioteca de consulta. Lees unas pocas páginas para responder una pregunta, así que la respuesta llega rápido. Aun así necesitas espacio en las estanterías para cada libro, porque no sabes de antemano qué páginas vas a necesitar. El enrutador cambia de opinión en cada token.

Por eso un modelo 744B puede ser utilizable en una sola máquina, y por qué esa máquina sigue necesitando cientos de gigabytes.

Lo que realmente cuesta una cuantización

La cuantización almacena cada peso en menos bits. Es la principal palanca de la que dispones. GLM-5.3 ocupa 810GB de memoria a 8 bits y 223GB a 1 bits — el mismo modelo, una cuarta parte del tamaño.¹

Dos cosas son fáciles de interpretar mal. La primera es que el tamaño del archivo en disco no es la cifra de memoria. También debes tener en cuenta el contexto y el estado de trabajo, así que el total en ejecución queda por encima de la descarga. Las tablas publicadas de Unsloth tienen esto en cuenta, y por eso su columna de memoria muestra una cifra más alta que su columna de archivo.

La segunda es que la precisión cae a medida que se reducen los bits, y no cae suavemente en la parte inferior. Según las propias mediciones de Unsloth, GLM-5.3 mantiene 94.29% de precisión top-1 en 4 bits, 80.93% en 2 bits y 72.56% en 1 bits.¹ La versión de 1 bits es una forma de ver funcionar el modelo. No es el modelo que pondrías detrás de trabajo real.

Tres formas de alcanzar la cifra

Un solo conjunto de memoria unificada. En Apple silicon, el procesador y la gráfica comparten la misma memoria, así que un Mac Studio M3 Ultra 512GB puede dedicar casi toda ella a un modelo. Esta es la forma más sencilla de llegar a una gran capacidad, y la más silenciosa. También es el límite: 512GB es la memoria unificada máxima que Apple vende, en el M3 Ultra actual y en el más nuevo M5 Ultra, cuya configuración 512GB no llegará hasta finales de octubre.⁷ Esperar no te da más capacidad.

Una tarjeta gráfica más la RAM del sistema. Los modelos de mezcla de expertos se dividen limpiamente. Las capas de atención, que toca cada token, van en la tarjeta gráfica. Las capas expertas, que son grandes pero rara vez se leen, se quedan en la memoria del sistema. En llama.cpp, el indicador --n-cpu-moe controla dónde cae la división. Esta es la forma más barata de llegar a una gran capacidad, y desplaza el cuello de botella a la velocidad de tu DDR5, porque una vez que los expertos viven en la memoria del sistema, su velocidad de lectura es tu ancho de banda de memoria. Una plataforma de estación de trabajo de ocho canales importa aquí mucho más que la insignia de la tarjeta gráfica.

Todo en la VRAM. La más rápida y la más cara. Cuatro tarjetas NVIDIA RTX PRO 6000 dan 384GB. HelixML midió GLM-5.3-Flash en cuatro tarjetas RTX PRO 6000 Server Edition a 63.7 tokens de salida por segundo para una sola solicitud, subiendo a 82.8 con decodificación especulativa — y informó de que hizo falta una compilación experimental fijada para conseguirlo.⁸ El soporte desde el día cero para una nueva arquitectura rara vez está listo.

El contexto no es gratis

Todos los modelos del gráfico anterior anuncian una ventana de contexto de un millón de tokens. Mantener ese contexto cuesta memoria propia, separada de los pesos, y esa es la línea que la gente olvida cuando dimensiona una máquina. La cantidad depende por completo de la arquitectura. DeepSeek publica 890 bytes por token para V4.1-Flash, que mantiene un millón completo de tokens por debajo de un gigabyte.⁶ Los diseños antiguos son mucho más pesados. Dimensiona para los pesos y luego deja un margen real por encima.

La escalera

Lee el gráfico como una lista de la compra y se divide en cuatro peldaños.

Hasta aproximadamente 32GB funcionan los buenos modelos pequeños. Qwen3.8-27B necesita 17GB a 4 bits y tiene visión y razonamiento integrados.⁴ Una sola tarjeta gráfica de estación de trabajo cubre esto, y es más capaz de lo que sugiere la cifra.

Alrededor de 256GB es donde empieza la frontera. DeepSeek-V4-Flash cabe sin pérdidas en 169GB, así que ejecutas el modelo exactamente como lo publicaron sus autores, sin ninguna duda de precisión.² MiniMax M3 cabe a 3 bits.³

512GB es el peldaño interesante en septiembre 2026. Es donde GLM-5.3 funciona a 4 bits con su precisión intacta, y donde la compilación comunitaria 4/8-bits de DeepSeek-V4.1-Flash se sitúa. Un Mac Studio M3 Ultra 512GB llega ahí en una sola caja hoy. Un Neox Metal llega con 512GB de ECC RDIMM y una tarjeta para alojar las capas de atención.

Más allá de 512GB estás construyendo en lugar de comprando. Kimi K3 necesita 610GB a 1 bits y 1.6TB para ejecutarse sin pérdidas.⁵ Eso son ocho canales de memoria ECC registrada en una plataforma de estación de trabajo, y una conversación sobre para qué sirve el modelo.

Los modelos concretos cambiarán — tres de los seis de ese gráfico no existían en junio. La aritmética no cambiará. Encuentra el número total de parámetros, elige una cuantización que puedas defender, suma el contexto y compra la capacidad. Para ver lo que necesita cada modelo actual en detalle, consulta nuestras notas sobre GLM-5.3 y DeepSeek V4.1-Flash.