글
Ollama VRAM 부족 에러 해결법 총정리 – GPU 메모리 관리 꿀팁
Ollama로 로컬 LLM을 돌리다가 갑자기 GPU 메모리 부족 에러가 뜬다면? VRAM 부족(Out of Memory) 문제의 원인부터 모델별 필요 용량, 그리고 실질적인 할당량 조절 팁까지 한 번에 정리해드릴게요. 저도 처음 Ollama를 설치하고 신나는 마음으로 Llama 3 70B 모델을 돌려봤는데, 터미널에 빨간 글씨로 "out of memory" 가 딱 뜨더라고요. 뭐가 문제인지도 모른 채 한참을 헤맸던 기억이 나요. 😅 사실 이 에러는 GPU의 VRAM이 모델을 올리기에 부족할 때 발생하는 건데요, 원인을 알고 나면 생각보다 간단하게 해결할 수 있어요. 오늘은 제가 직접 겪으면서 알게 된 VRAM 관리 노하우를 공유해볼게요! GPU VRAM, 정확히 뭔가요? 🤔 VRAM은 Video RAM 의 줄임말로, 그래픽카드에 탑재된 전용 메모리예요. 일반 시스템 RAM과는 다르게 GPU가 직접 접근해서 사용하는 메모리인데요, LLM을 로컬에서 돌릴 때는 모델의 가중치(weight)가 통째로 이 VRAM 위에 올라가야 해요. 쉽게 말하면, VRAM 크기 = 내 GPU가 한 번에 올릴 수 있는 모델의 한계 라고 보시면 돼요. RTX 3060이면 12GB, RTX 4090이면 24GB 정도가 기본이죠. 💡 알아두세요! 시스템 RAM이 32GB여도 GPU VRAM이 8GB라면, LLM 구동 시 기준이 되는 건 8GB예요. 두 메모리는 완전히 별개의 공간이에요. OOM 에러, 왜 발생하나요? 📊 Out of Memory 에러가 발생하는 주된 원인은 크게 세 가지예요. 모델 크기 초과 — 7B, 13B, 70B 등 파라미터 수가 클수록 VRAM을 많이 먹어요. 양자화(quantization) 없이 70B 모델을 올리려면...