#vLLM

API 비용이 아까워서 로컬 LLM을 돌렸습니다

Grok API 청구서를 보고 집에 있는 RTX 4090을 꺼냈습니다. 10분 셋업, 그리고 로컬 모델에 대한 불신이 깨진 이야기입니다.