오픈 모델을 로컬에서 실행하는 데 필요한 메모리 용량

오픈 웨이트 모델은 파일입니다. 그것을 사용할 수 있는지를 결정하는 질문은 화려하지 않습니다. 그 파일이 당신의 기기 메모리에 한 번에 모두 들어가는가? 그래픽 카드, 프로세서, 벤치마크 점수는 그 다음입니다. 가중치가 들어가지 않으면 나머지는 아무 의미가 없습니다.

그 질문은 2026년에 더 어려워졌습니다. 가장 강력한 오픈 모델은 이제 매우 크면서 동시에 매우 희소합니다. 어떤 모델은 1조의 4분의 3에 달하는 가중치를 담고 있으면서, 각 단어를 생성할 때 그중 40분의 1만 사용합니다. 크기에서 예상되는 것보다 훨씬 빠르게 동작하지만, 그 크기의 모든 바이트를 메모리에 여전히 필요로 합니다.

전체 파라미터가 비용을 결정합니다. 활성 파라미터가 속도를 결정합니다.

현재 거의 모든 최전선 오픈 모델은 mixture of experts를 사용합니다. 모델은 많은 작은 전문가 네트워크로 나뉩니다. 각 토큰마다 라우터가 그중 몇 개를 선택합니다. GLM-5.3은 744B개의 파라미터를 담고 있으며, 토큰당 약 40B를 사용합니다.¹ DeepSeek-V4.1-Flash는 552B 백본을 담고 있으며 읽을 때 8B개의 파라미터를 활성화하고, 쓸 때 16B개를 활성화합니다.⁶

도서관 참고 자료라고 생각하면 됩니다. 질문에 답하려고 몇 페이지를 읽으므로 답은 빨리 나옵니다. 하지만 어떤 페이지가 필요할지 미리 알 수 없기 때문에 모든 책을 위한 선반 공간은 여전히 필요합니다. 라우터는 토큰마다 생각을 바꿉니다.

이것이 744B 모델이 단일 기기에서 실제로 사용 가능하고, 그 기기가 여전히 수백 GB를 필요로 하는 이유입니다.

양자화가 실제로 치르는 비용

양자화는 각 가중치를 더 적은 비트로 저장합니다. 이것이 여러분이 가진 가장 중요한 수단입니다. GLM-5.3은 810GB의 메모리를 8-bit에서 사용하고 223GB를 1-bit에서 사용합니다 — 같은 모델이지만, 차지하는 공간은 4분의 1입니다.¹

두 가지는 쉽게 잘못 이해됩니다. 첫째, 디스크상의 파일 크기와 메모리 수치는 같지 않다는 점입니다. 또한 컨텍스트와 작업 상태도 함께 보유하므로, 실행 중 전체 사용량은 다운로드 크기보다 높습니다. Unsloth의 공개 표는 이를 반영하고 있으며, 그래서 메모리 열이 파일 열보다 더 크게 표시됩니다.

둘째, 비트 수가 줄어들수록 정확도는 떨어지며, 최저 수준에서는 완만하게 떨어지지 않는다는 점입니다. Unsloth의 자체 측정에 따르면 GLM-5.3은 94.29% top-1 정확도를 4-bit에서, 80.93%를 2-bit에서, 72.56%를 1-bit에서 유지합니다.¹ 1-bit 빌드는 모델이 어떻게 동작하는지 보는 방법입니다. 실제 작업 뒤에 둘 모델은 아닙니다.

숫자에 도달하는 세 가지 방법

통합 메모리의 한 풀. Apple silicon에서는 프로세서와 그래픽이 같은 메모리를 공유하므로, Mac Studio M3 Ultra 512GB는 그 대부분을 모델에 할당할 수 있습니다. 이것은 대용량에 도달하는 가장 단순한 방법이며, 가장 조용한 방법이기도 합니다. 또한 이것이 한계입니다. 512GB는 Apple이 판매하는 통합 메모리의 최대치로, 현재는 M3 Ultra에 있고, 더 최근의 M5 Ultra는 512GB 구성이 10월 말까지는 나오지 않습니다.⁷ 기다린다고 해서 용량이 더 늘어나지는 않습니다.

그래픽 카드와 시스템 RAM. Mixture-of-experts 모델은 깔끔하게 분리됩니다. 모든 토큰이 거치는 attention 레이어는 그래픽 카드에 올라갑니다. 크지만 거의 읽히지 않는 expert 레이어는 시스템 메모리에 남습니다. llama.cpp에서 --n-cpu-moe 플래그가 분할 위치를 제어합니다. 이는 대용량에 도달하는 가장 저렴한 방법이며, expert가 시스템 메모리에 들어가는 순간 읽기 속도는 메모리 대역폭이 되므로 병목을 사용자의 DDR5 속도로 옮깁니다. 이 경우에는 그래픽 카드의 브랜드보다 8채널 워크스테이션 플랫폼이 훨씬 더 중요합니다.

모두 VRAM에. 가장 빠르고 가장 비쌉니다. NVIDIA RTX PRO 6000 카드 4장으로 384GB를 제공합니다. HelixML은 GLM-5.3-Flash를 RTX PRO 6000 Server Edition 카드 4장으로 단일 요청 기준 초당 출력 토큰 63.7개로 측정했으며, speculative decoding을 사용하면 82.8개로 상승했다고 보고했습니다. 그리고 거기까지 가려면 pinned experimental build가 필요했다고 밝혔습니다.⁸ 새 아키텍처에 대한 day-zero 지원은 거의 준비되지 않은 경우가 많습니다.

컨텍스트는 공짜가 아닙니다

위 차트의 모든 모델은 100만 토큰 컨텍스트 윈도를 광고합니다. 그 컨텍스트를 유지하는 데는 가중치와는 별도로 자체 메모리가 필요하며, 머신을 구성할 때 사람들이 잊기 쉬운 항목이 바로 이것입니다. 필요 용량은 전적으로 아키텍처에 달려 있습니다. DeepSeek는 890 bytes per token for V4.1-Flash, which keeps a full million tokens under a gigabyte.⁶ 오래된 설계는 훨씬 더 무겁습니다. 가중치에 맞춰 용량을 잡고, 그 위에 실제 여유분을 남겨 두세요.

사다리

차트를 구매 목록처럼 읽으면 네 개의 단계로 정리됩니다.

약 32GB까지는 좋은 소형 모델이 실행됩니다. Qwen3.8-27B에는 17GB at 4-bit가 필요하며 vision과 reasoning이 내장되어 있습니다.⁴ 단일 워크스테이션 그래픽 카드로 이 정도는 감당할 수 있으며, 숫자가 암시하는 것보다 더 높은 성능을 제공합니다.

Around 256GB가 경계선이 시작되는 지점입니다. DeepSeek-V4-Flash는 169GB에 손실 없이 맞기 때문에, 정확성에 대한 의문 없이 작성자가 배포한 그대로 모델을 정확히 실행할 수 있습니다.² MiniMax M3는 3비트에 맞습니다.³

512GB는 2026년 9월에서 가장 흥미로운 단계입니다. 여기서는 GLM-5.3이 정확도를 그대로 유지한 채 4비트로 실행되고, 커뮤니티의 DeepSeek-V4.1-Flash 4/8비트 빌드가 자리합니다. Mac Studio M3 Ultra 512GB 하나로 오늘날 이 수준에 도달할 수 있습니다. Neox Metal은 512GB의 ECC RDIMM과 attention layer를 담을 카드를 갖추면 도달할 수 있습니다.

512GB를 넘어서면, 이제는 구매가 아니라 구축의 영역입니다. Kimi K3는 610GB가 1비트와 1.6TB로 손실 없이 실행되어야 합니다.⁵ 즉, 워크스테이션 플랫폼에서 8채널 등록 ECC 메모리가 필요하며, 모델의 용도가 무엇인지에 대한 논의가 필요합니다.

구체적인 모델은 바뀔 수 있습니다 — 그 차트의 6개 중 3개는 6월에 존재하지 않았습니다. 하지만 산술은 바뀌지 않습니다. 총 파라미터 수를 확인하고, 방어할 수 있는 양자화를 선택한 다음, 컨텍스트를 더해 용량을 구매하세요. 각 현재 모델에 필요한 사항은 GLM-5.3 및 DeepSeek V4.1-Flash에 대한 저희 노트를 참고하세요.