Πόση μνήμη χρειάζεται για να τρέξετε ένα ανοιχτό μοντέλο τοπικά

Ένα μοντέλο ανοιχτών βαρών είναι ένα αρχείο. Το ερώτημα που καθορίζει αν μπορείτε να το χρησιμοποιήσετε είναι πεζό: χωράει το αρχείο στη μνήμη του μηχανήματός σας, ολόκληρο, μονομιάς; Η κάρτα γραφικών, ο επεξεργαστής και οι βαθμολογίες στα benchmarks έρχονται όλα δεύτερα. Αν τα βάρη δεν χωρούν, τίποτα άλλο δεν έχει σημασία.

Αυτό το ερώτημα έγινε δυσκολότερο το 2026. Τα ισχυρότερα ανοιχτά μοντέλα είναι πλέον ταυτόχρονα πολύ μεγάλα και πολύ αραιά. Ένα μοντέλο μπορεί να περιέχει τρία τέταρτα του τρισεκατομμυρίου βαρών και να αγγίζει μόνο το ένα τεσσαρακοστό από αυτά για να παράγει κάθε λέξη. Τρέχει πολύ πιο γρήγορα από όσο υποδηλώνει το μέγεθός του, και εξακολουθεί να χρειάζεται κάθε byte αυτού του μεγέθους στη μνήμη.

Οι συνολικές παράμετροι καθορίζουν το κόστος. Οι ενεργές παράμετροι καθορίζουν την ταχύτητα.

Σχεδόν κάθε κορυφαίο ανοιχτό μοντέλο χρησιμοποιεί πλέον ένα μείγμα ειδικών. Το μοντέλο χωρίζεται σε πολλά μικρά εξειδικευμένα δίκτυα. Για κάθε token, ένας δρομολογητής επιλέγει λίγα από αυτά. Το GLM-5.3 έχει 744B παραμέτρους και χρησιμοποιεί περίπου 40B ανά token.¹ Το DeepSeek-V4.1-Flash έχει μια βάση 552B και ενεργοποιεί 8B παραμέτρους ενώ διαβάζει και 16B ενώ γράφει.⁶

Σκεφτείτε το σαν μια βιβλιοθήκη αναφοράς. Διαβάζετε λίγες σελίδες για να απαντήσετε σε μια ερώτηση, οπότε η απάντηση έρχεται γρήγορα. Εξακολουθείτε όμως να χρειάζεστε χώρο στα ράφια για κάθε βιβλίο, επειδή δεν ξέρετε εκ των προτέρων ποιες σελίδες θα χρειαστείτε. Ο δρομολογητής αλλάζει γνώμη σε κάθε token.

Γι’ αυτό ένα μοντέλο 744B είναι καθόλου αξιοποιήσιμο σε ένα μόνο μηχάνημα, και γι’ αυτό το μηχάνημα εξακολουθεί να χρειάζεται εκατοντάδες gigabytes.

Τι πραγματικά κοστίζει η ποσοτικοποίηση

Η ποσοτικοποίηση αποθηκεύει κάθε βάρος σε λιγότερα bits. Είναι ο βασικός μοχλός που έχετε στη διάθεσή σας. Το GLM-5.3 χρειάζεται 810GB μνήμης σε 8-bit και 223GB σε 1-bit — το ίδιο μοντέλο, το ένα τέταρτο του αποτυπώματος.¹

Δύο πράγματα είναι εύκολο να τα μπερδέψει κανείς. Το πρώτο είναι ότι το μέγεθος του αρχείου στον δίσκο δεν είναι το μέγεθος στη μνήμη. Κρατάτε επίσης το context και την κατάσταση εργασίας, οπότε το συνολικό τρέχον μέγεθος μένει πάνω από το download. Οι δημοσιευμένοι πίνακες της Unsloth το λαμβάνουν αυτό υπόψη, γι’ αυτό η στήλη μνήμης τους εμφανίζει υψηλότερες τιμές από τη στήλη αρχείου.

Το δεύτερο είναι ότι η ακρίβεια πέφτει όσο αφαιρούνται bits, και δεν πέφτει ήπια στο χαμηλό άκρο. Στις ίδιες μετρήσεις της Unsloth το GLM-5.3 διατηρεί 94.29% top-1 ακρίβεια σε 4-bit, 80.93% σε 2-bit και 72.56% σε 1-bit.¹ Η έκδοση 1-bit είναι ένας τρόπος να δείτε το μοντέλο να εκτελείται. Δεν είναι το μοντέλο που θα βάζατε πίσω από πραγματική δουλειά.

Τρεις τρόποι για να φτάσετε το νούμερο

Ένα ενιαίο pool ενοποιημένης μνήμης. Στο Apple silicon, ο επεξεργαστής και τα γραφικά μοιράζονται την ίδια μνήμη, οπότε ένα Mac Studio M3 Ultra 512GB μπορεί να αποδώσει σχεδόν όλη σε ένα μοντέλο. Αυτή είναι η απλούστερη διαδρομή προς μεγάλη χωρητικότητα και η πιο αθόρυβη. Είναι όμως και το ανώτατο όριο: 512GB είναι η πιο ενοποιημένη μνήμη που πουλά η Apple, στο M3 Ultra σήμερα και στο νεότερο M5 Ultra, του οποίου η διαμόρφωση 512GB δεν αναμένεται πριν από τα τέλη Οκτωβρίου.⁷ Η αναμονή δεν σας δίνει μεγαλύτερη χωρητικότητα.

Μια κάρτα γραφικών συν μνήμη RAM συστήματος. Τα μοντέλα mixture-of-experts χωρίζονται καθαρά. Τα attention layers, στα οποία αγγίζει κάθε token, μπαίνουν στην κάρτα γραφικών. Τα expert layers, που είναι μεγάλα αλλά σπάνια διαβάζονται, μένουν στη μνήμη συστήματος. Στο llama.cpp, το --n-cpu-moe flag ελέγχει πού πέφτει ο διαχωρισμός. Αυτός είναι ο πιο οικονομικός τρόπος για να φτάσετε μεγάλη χωρητικότητα, και μεταφέρει το bottleneck στην ταχύτητα της DDR5 σας, επειδή μόλις οι experts ζήσουν στη μνήμη συστήματος, η ταχύτητα ανάγνωσής τους είναι το memory bandwidth σας. Μια workstation πλατφόρμα οκτώ καναλιών μετρά εδώ πολύ περισσότερο από το σήμα στην κάρτα γραφικών.

Τα πάντα στη VRAM. Το πιο γρήγορο και το ακριβότερο. Τέσσερις κάρτες NVIDIA RTX PRO 6000 δίνουν 384GB. Η HelixML μέτρησε το GLM-5.3-Flash σε τέσσερις κάρτες RTX PRO 6000 Server Edition στα 63.7 output tokens ανά δευτερόλεπτο για ένα μεμονωμένο request, ανεβαίνοντας στα 82.8 με speculative decoding — και ανέφερε ότι χρειάστηκε pinned experimental build για να το πετύχει καθόλου.⁸ Η υποστήριξη πρώτης ημέρας για μια νέα αρχιτεκτονική σπάνια είναι έτοιμη.

Το context δεν είναι δωρεάν

Κάθε μοντέλο στο παραπάνω chart διαφημίζει παράθυρο context ενός εκατομμυρίου tokens. Η διατήρηση αυτού του context κοστίζει δική του μνήμη, ξεχωριστά από τα weights, και είναι το σημείο που οι άνθρωποι ξεχνούν όταν υπολογίζουν το μέγεθος ενός μηχανήματος. Το πόσο εξαρτάται αποκλειστικά από την αρχιτεκτονική. Η DeepSeek δημοσιεύει 890 bytes ανά token για V4.1-Flash, που κρατά ένα πλήρες εκατομμύριο tokens κάτω από ένα gigabyte.⁶ Παλαιότερα σχέδια είναι πολύ βαρύτερα. Υπολογίστε για τα weights και μετά αφήστε πραγματικό περιθώριο από πάνω.

Η κλίμακα

Διαβάστε το chart σαν λίστα αγορών και αποσαφηνίζεται σε τέσσερα σκαλοπάτια.

Έως περίπου 32GB τρέχουν τα καλά μικρά μοντέλα. Qwen3.8-27B χρειάζεται 17GB στα 4-bit και έχει vision και reasoning ενσωματωμένα.⁴ Μια μοναδική workstation κάρτα γραφικών καλύπτει αυτό το επίπεδο, και είναι πιο ικανή απ’ ό,τι δείχνει ο αριθμός.

Γύρω στα 256GB είναι όπου αρχίζει το frontier. Το DeepSeek-V4-Flash χωρά χωρίς απώλειες σε 169GB, οπότε τρέχετε το μοντέλο ακριβώς όπως το έδωσαν οι δημιουργοί του, χωρίς κανένα ερώτημα ακρίβειας.² Το MiniMax M3 χωρά στα 3-bit.³

512GB είναι το ενδιαφέρον σκαλοπάτι τον Σεπτέμβριο 2026. Είναι το σημείο όπου το GLM-5.3 τρέχει στα 4-bit με ανέπαφη την ακρίβειά του, και όπου το community 4/8-bit build του DeepSeek-V4.1-Flash βρίσκεται. Ένα Mac Studio M3 Ultra 512GB το φτάνει σε ένα κουτί σήμερα. Ένα Neox Metal το φτάνει με 512GB ECC RDIMM και μια κάρτα για να κρατά τα attention layers.

Πέρα από το 512GB χτίζετε αντί να αγοράζετε. Το Kimi K3 χρειάζεται 610GB στα 1-bit και 1.6TB για να τρέξει χωρίς απώλειες.⁵ Αυτό σημαίνει οκτακάναλη registered ECC memory σε workstation πλατφόρμα, και μια συζήτηση για το σε τι προορίζεται το μοντέλο.

Τα συγκεκριμένα μοντέλα θα αλλάξουν — τρία από τα έξι σε εκείνο το chart δεν υπήρχαν τον Ιούνιο. Η αριθμητική δεν θα αλλάξει. Βρείτε το συνολικό parameter count, επιλέξτε ένα quantisation που μπορείτε να υποστηρίξετε, προσθέστε το context και αγοράστε τη χωρητικότητα. Για το τι χρειάζεται αναλυτικά κάθε τρέχον μοντέλο, δείτε τις σημειώσεις μας για το GLM-5.3 και το DeepSeek V4.1-Flash.