Quelle quantité de mémoire faut-il pour exécuter localement un modèle ouvert

Un modèle open weight est un fichier. La question qui décide si vous pouvez l’utiliser est peu glamour : le fichier tient-il entièrement dans la mémoire de votre machine ? La carte graphique, le processeur et les scores de benchmark viennent seulement ensuite. Si les poids ne tiennent pas, tout le reste importe peu.

Cette question est devenue plus difficile en 2026. Les modèles ouverts les plus puissants sont désormais à la fois très volumineux et très clairsemés. Un modèle peut contenir trois quarts de trillion de poids et n’en solliciter qu’un quarantième pour produire chaque mot. Il s’exécute bien plus vite que sa taille ne le laisse penser, et il a tout de même besoin de chaque octet de cette taille en mémoire.

Le nombre total de paramètres fixe la facture. Le nombre de paramètres actifs fixe la vitesse.

Presque tous les modèles ouverts de pointe utilisent désormais un mélange d’experts. Le modèle est divisé en de nombreux petits réseaux spécialisés. Pour chaque jeton, un routeur en choisit quelques-uns. GLM-5.3 contient 744B paramètres et utilise environ 40B par jeton.¹ DeepSeek-V4.1-Flash contient un backbone de 552B et active 8B paramètres lorsqu’il lit et 16B lorsqu’il écrit.⁶

Considérez-le comme une bibliothèque de référence. Vous lisez quelques pages pour répondre à une question, et la réponse arrive donc rapidement. Vous avez tout de même besoin d’espace en rayon pour chaque livre, car vous ne savez pas à l’avance quelles pages vous devrez consulter. Le routeur change d’avis à chaque jeton.

C’est pourquoi un modèle 744B est utilisable sur une seule machine, et pourquoi cette machine a malgré tout besoin de centaines de gigaoctets.

Ce que coûte vraiment une quantification

La quantification stocke chaque poids sur moins de bits. C’est le principal levier dont vous disposez. GLM-5.3 prend 810GB de mémoire en 8-bit et 223GB en 1-bit — le même modèle, pour un quart de l’encombrement.¹

Deux points sont faciles à mal interpréter. Le premier est que la taille du fichier sur le disque n’est pas la valeur mémoire. Vous conservez aussi le contexte et l’état de travail, donc le total en cours se situe au-dessus du téléchargement. Les tableaux publiés par Unsloth en tiennent compte, ce qui explique pourquoi leur colonne mémoire affiche une valeur plus élevée que leur colonne fichier.

Le deuxième est que la précision baisse à mesure que le nombre de bits diminue, et qu’elle ne baisse pas doucement en bas de l’échelle. D’après les propres mesures d’Unsloth, GLM-5.3 conserve 94.29% en top-1 à 4-bit, 80.93% à 2-bit et 72.56% à 1-bit.¹ La version 1-bit est un moyen de voir le modèle fonctionner. Ce n’est pas le modèle que vous mettriez derrière un usage réel.

Trois façons d’atteindre le chiffre

Une seule réserve de mémoire unifiée. Sur Apple silicon, le processeur et les graphiques partagent la même mémoire, donc un Mac Studio M3 Ultra 512GB peut en consacrer presque toute la capacité à un modèle. C’est la voie la plus simple vers une grande capacité, et la plus silencieuse. C’est aussi le plafond : 512GB est la mémoire unifiée maximale vendue par Apple, sur l’M3 Ultra aujourd’hui et sur le plus récent M5 Ultra dont la configuration 512GB n’est pas attendue avant fin octobre.⁷ Attendre ne vous donne pas plus de capacité.

Une carte graphique plus la RAM système. Les modèles de mixture-of-experts se répartissent proprement. Les couches d’attention, que chaque jeton sollicite, vont sur la carte graphique. Les couches experts, volumineuses mais rarement lues, restent dans la mémoire système. Dans llama.cpp, l’indicateur --n-cpu-moe contrôle l’emplacement de la séparation. C’est le moyen le moins coûteux d’atteindre une grande capacité, et il déplace le goulot d’étranglement vers la vitesse de votre DDR5, car une fois que les experts résident dans la mémoire système, leur vitesse de lecture correspond à votre bande passante mémoire. Une plateforme workstation à huit canaux compte ici bien plus que le badge de la carte graphique.

Tout en VRAM. Le plus rapide et le plus coûteux. Quatre cartes NVIDIA RTX PRO 6000 donnent 384GB. HelixML a mesuré GLM-5.3-Flash sur quatre cartes RTX PRO 6000 Server Edition à 63.7 jetons de sortie par seconde pour une seule requête, montant à 82.8 avec le speculative decoding — et a indiqué qu’il a fallu pour cela une build expérimentale épinglée.⁸ La prise en charge au premier jour d’une nouvelle architecture est rarement prête.

Le contexte n’est pas gratuit

Chaque modèle du tableau ci-dessus annonce une fenêtre de contexte d’un million de jetons. Conserver ce contexte coûte sa propre mémoire, distincte des poids, et c’est le point que les gens oublient lorsqu’ils dimensionnent une machine. Tout dépend entièrement de l’architecture. DeepSeek publie 890 octets par jeton pour V4.1-Flash, qui conserve un million de jetons complet sous un gigaoctet.⁶ Les conceptions plus anciennes sont bien plus lourdes. Dimensionnez pour les poids, puis gardez une vraie marge au-dessus.

L’échelle

Lisez le tableau comme une liste de courses et il se résume en quatre paliers.

Jusqu’à environ 32GB, on fait tourner les bons petits modèles. Qwen3.8-27B nécessite 17GB en 4 bits et intègre la vision et le raisonnement.⁴ Une seule carte graphique de workstation couvre cela, et elle est plus capable que ce que le chiffre laisse penser.

Autour de 256GB, c’est là que commence la frontière. DeepSeek-V4-Flash tient sans perte dans 169GB, donc vous exécutez le modèle exactement comme ses auteurs l’ont livré, sans aucune question de précision.² MiniMax M3 tient en 3 bits.³

512GB est l’échelon intéressant en septembre 2026. C’est là que GLM-5.3 fonctionne en 4 bits avec sa précision intacte, et là que la version communautaire 4/8 bits de DeepSeek-V4.1-Flash se situe. Un Mac Studio M3 Ultra 512GB y parvient dans une seule machine aujourd’hui. Un Neox Metal y parvient avec 512GB d’ECC RDIMM et une carte pour prendre en charge les couches d’attention.

Au-delà de 512GB, vous construisez plutôt que d’acheter. Kimi K3 a besoin de 610GB en 1 bits et de 1.6TB pour s’exécuter sans perte.⁵ Cela représente une mémoire ECC enregistrée à huit canaux sur une plateforme de station de travail, et une réflexion sur l’usage du modèle.

Les modèles précis changeront — trois des six du tableau n’existaient pas en juin. L’arithmétique, elle, ne changera pas. Trouvez le total de paramètres, choisissez une quantification que vous pouvez défendre, ajoutez le contexte, et achetez la capacité. Pour le détail de ce dont chaque modèle actuel a besoin, consultez nos notes sur GLM-5.3 et DeepSeek V4.1-Flash.