MangCho's Guide

  Nginx에서 갑자기 502 Bad Gateway나 504 Gateway Timeout이 뜬다면? 에러 로그 확인 방법부터 proxy_read_timeout 등 핵심 타임아웃 설정 변경까지, 실무에서 바로 쓸 수 있는 트러블슈팅 프로세스를 정리했어요.   서비스 운영하다 보면 한 번쯤은 꼭 마주치게 되는 에러가 있죠. 바로 Nginx의 502 Bad Gateway 와 504 Gateway Timeout 이에요. 저도 한밤중에 모니터링 알림이 울려서 부랴부랴 서버에 접속했던 기억이 있는데, 처음엔 로그를 어디서 봐야 하는지조차 헤맸어요. 😅 이 두 에러는 비슷해 보이지만 원인이 다르고, 해결 방법도 달라요. 오늘은 제가 실제로 겪으면서 정리한 로그 분석 순서와 타임아웃 설정 변경 프로세스를 처음부터 끝까지 공유해볼게요!   502 vs 504, 뭐가 다른 건가요? 🤔 둘 다 Nginx가 뒤쪽 서버(업스트림)와 통신하다 생기는 에러인데요, 핵심 차이를 먼저 알아야 정확한 진단이 가능해요. 구분 502 Bad Gateway 504 Gateway Timeout 의미 업스트림이 잘못된 응답을 보냄 업스트림이 시간 내 응답하지 않음 주요 원인 백엔드 프로세스 죽음, 소켓 오류 처리 시간 초과, 과부하 체감 증상 ...

  Ollama로 로컬 LLM을 돌리다가 갑자기 GPU 메모리 부족 에러가 뜬다면? VRAM 부족(Out of Memory) 문제의 원인부터 모델별 필요 용량, 그리고 실질적인 할당량 조절 팁까지 한 번에 정리해드릴게요.   저도 처음 Ollama를 설치하고 신나는 마음으로 Llama 3 70B 모델을 돌려봤는데, 터미널에 빨간 글씨로 "out of memory" 가 딱 뜨더라고요. 뭐가 문제인지도 모른 채 한참을 헤맸던 기억이 나요. 😅 사실 이 에러는 GPU의 VRAM이 모델을 올리기에 부족할 때 발생하는 건데요, 원인을 알고 나면 생각보다 간단하게 해결할 수 있어요. 오늘은 제가 직접 겪으면서 알게 된 VRAM 관리 노하우를 공유해볼게요!   GPU VRAM, 정확히 뭔가요? 🤔 VRAM은 Video RAM 의 줄임말로, 그래픽카드에 탑재된 전용 메모리예요. 일반 시스템 RAM과는 다르게 GPU가 직접 접근해서 사용하는 메모리인데요, LLM을 로컬에서 돌릴 때는 모델의 가중치(weight)가 통째로 이 VRAM 위에 올라가야 해요. 쉽게 말하면, VRAM 크기 = 내 GPU가 한 번에 올릴 수 있는 모델의 한계 라고 보시면 돼요. RTX 3060이면 12GB, RTX 4090이면 24GB 정도가 기본이죠. 💡 알아두세요! 시스템 RAM이 32GB여도 GPU VRAM이 8GB라면, LLM 구동 시 기준이 되는 건 8GB예요. 두 메모리는 완전히 별개의 공간이에요.   OOM 에러, 왜 발생하나요? 📊 Out of Memory 에러가 발생하는 주된 원인은 크게 세 가지예요. 모델 크기 초과 — 7B, 13B, 70B 등 파라미터 수가 클수록 VRAM을 많이 먹어요. 양자화(quantization) 없이 70B 모델을 올리려면...

  MCP가 좋다고는 하는데… 기존 방식과 정확히 뭐가 다른 건가요? Function Calling, Plugin, RAG — 이미 있던 방법들과 MCP는 어떻게 다르고, 언제 어떤 걸 써야 할까요? 개념부터 실질적인 선택 기준까지, 이번 글에서 한 번에 정리해 드릴게요!   이 시리즈를 쭉 읽어오신 분들이라면 이런 생각이 드셨을 거예요. "MCP, MCP 하는데… 원래 AI랑 외부 서비스 연결하는 방법이 없었던 것도 아니잖아?" 맞아요. Function Calling도 있었고, ChatGPT Plugin도 있었고, RAG도 있었어요. 저도 처음엔 "이게 그냥 리브랜딩 아닌가?" 싶었거든요. 😅 그런데 파고들수록 MCP가 단순한 마케팅 용어가 아니라는 게 보이더라고요. 기존 방식들이 해결하지 못한 진짜 문제를 건드리고 있었어요. 오늘은 각 방식의 개념을 짚어보고, 솔직하게 비교해서, 결국 어떤 상황에 무엇을 써야 하는지 명확한 선택 기준을 드릴게요! 🔍   기존 4가지 방식 — 각각 뭔가요? 🤔 MCP와 비교하기 전에 기존 방식들이 정확히 어떤 개념인지 간략하게 짚고 넘어갈게요. 용어가 낯설어도 개념은 생각보다 간단해요. ① Function Calling (함수 호출) AI 모델에게 "이런 함수들이 있어, 필요하면 호출해"라고 알려주는 방식이에요. OpenAI GPT, Anthropic Claude 모두 지원해요. AI가 대화 중 적절한 타이밍에 외부 함수를 호출해 결과를 받아 응답에 반영해요. 각 AI 제공사마다 구현 방식이 달라서 특정 모델에 종속 된다는 한계가 있어요. ② ChatGPT Plugin (플러그인) OpenAI가 2023년에 선보였다가 2024년에 사실상 종료한 방식이에요. 웹 서비스처럼 만든 API 엔드포인트를 ChatGPT에 연결해 쓰는 구조였어요. 원리는 좋았지만 C...