클라우드 AI 코딩 비용 치솟자 "내 컴퓨터서 직접 돌리자"...깃허브 코파일럿 종량제 전환에 개발자, 무료 오픈웨이트 모델로 갈아타는 법 공개

[한국정보기술신문] 클라우드 인공지능(AI) 코딩 도구의 이용료가 잇따라 오르는 가운데, 개인 컴퓨터에서 AI 모델을 직접 돌려 비용을 아끼는 방법을 정리한 개발자의 안내 글이 공개됐다. 소프트웨어 엔지니어 알렉스 에베를뢰프(Alex Ewerlöf)는 6월 4일(현지시간) 자신의 블로그에 올린 글에서, 깃허브 코파일럿(GitHub Copilot)이 사용량만큼 돈을 매기는 종량제로 전환한 일을 계기로 "AI 우대 요금 시대는 끝났다"며 직접 모델을 구동하는 대안을 소개했다. 이 글은 객관적 보도가 아니라 3년간 로컬 모델을 다뤄 온 개발자 한 사람의 경험과 권고를 담은 안내서에 해당한다.

로컬 모델이란 외부 서버를 거치지 않고 이용자가 가진 컴퓨터에서 직접 실행하는 AI 모델을 말한다. 에이전트형 코딩(agentic coding)은 사람이 코드를 한 줄씩 짜는 대신, AI에 목표만 주면 스스로 명령을 실행하고 파일을 고쳐 가며 작업을 처리하는 방식을 가리킨다. 코파일럿은 마이크로소프트 산하 깃허브가 내놓은 대표적인 AI 코딩 도구다. 에베를뢰프에 따르면 코파일럿은 그동안 무료로 쓸 수 있는 모델도 제공했으나, 최근 그 무료 모델마저 유료로 바뀌었다.

에베를뢰프는 클라우드 AI의 값이 성능에 견줘 지나치게 빠르게 오르고 있다고 지적했다. 그는 구글의 새 모델이 직전 모델보다 약 3배 비싸졌지만 성능이 그만큼 좋아지지는 않았고, 오픈AI의 최신 모델도 같은 식으로 3배가량 비싸졌다고 짚었다. 토큰이란 AI가 글이나 코드를 처리할 때 쓰는 기본 단위로, 종량제에서는 이 토큰을 얼마나 주고받느냐에 따라 요금이 매겨진다. 그는 코파일럿처럼 다른 회사의 모델을 빌려 되파는 서비스일수록 가격 인상이 더 두드러진다고 설명했다.

이런 상황에서 그가 내세운 대안이 로컬 모델이다. 에베를뢰프는 로컬 모델이 클로드(Claude)나 GPT, 제미나이(Gemini) 같은 최고 수준의 클라우드 모델만큼 똑똑하지는 않다는 점을 인정하면서도, 몇 가지 따져 볼 대목이 있다고 주장했다. 우선 가격 대비 성능이다. 클라우드 최상위 모델은 성능이 조금 나아질 때마다 값이 기하급수적으로 비싸진다는 것이다.

다음은 도구의 힘이다. 그는 약한 모델이라도 잘 짜인 보조 도구(하니스)와 지시문을 붙이면 품질을 크게 끌어올릴 수 있다고 봤다. 하니스(harness)란 AI 모델 주위를 둘러싸고 코드 실행, 파일 편집, 검사 같은 일을 대신 처리해 주는 전통적 소프트웨어 장치를 말한다. 모델 자체는 다소 모자라더라도, 검사 도구와 시험, 작업 지침서 같은 안전장치를 함께 쓰면 코딩 정확도를 상당히 보완할 수 있다는 것이 그의 설명이다.

에베를뢰프는 성능 평가 점수(벤치마크)도 곧이곧대로 믿어선 안 된다고 했다. 모델처럼 복잡한 대상을 하나의 숫자로 줄이기 어렵고, 각 AI 업체가 저마다 자사 모델이 돋보이는 평가에 집중하기 때문이라는 것이다. 결국 자신이 실제로 할 작업으로 직접 써 봐야 제대로 가늠할 수 있다고 그는 강조했다.

그가 추천한 모델은 구글의 오픈웨이트 모델 '젬마 4(Gemma 4)'다. 오픈웨이트란 모델의 핵심인 가중치 파일이 공개돼 누구나 내려받아 쓸 수 있는 모델을 말한다. 가중치는 모델이 학습한 내용을 담은 방대한 숫자 묶음으로, 이 파일을 내려받는 것이 곧 모델을 손에 넣는 일이다. 에베를뢰프에 따르면 젬마 4에는 크기에 따라 여러 판이 있으며, 그중 그가 가장 마음에 들어 한 것은 '26B A4B' 판이다. 이 모델은 전체 260억 개 규모의 매개변수를 갖추되 한 번에 40억 개만 작동하는 '전문가 혼합(MoE)' 구조라, 똑똑하면서도 비교적 사양이 낮은 그래픽카드에서 돌아간다. 전문가 혼합이란 여러 전문가 모듈을 두고 작업에 맞는 일부만 골라 쓰는 방식이다.

그는 코딩용으로는 중국 연구소들이 내놓은 모델이 대체로 상위권이라고도 했다. 미국 AI 업체들이 무료로 공개하는 것은 최신작이 아니지만, 중국 쪽에서 콴(Qwen)·딥시크(DeepSeek)·키미(Kimi)·GLM 등 쓸 만한 모델을 잇따라 공개하고 있다는 것이다.

에베를뢰프는 약한 모델을 길들이는 일이 도리어 이용자에게 득이 된다는 견해도 폈다. 똑똑하지 않은 모델은 부족한 부분을 사람이 더 챙겨야 하므로, 결과적으로 작업에 더 깊이 관여하게 되고 스스로 생각하는 힘을 유지할 수 있다는 것이다. 또 약한 모델을 다루며 익힌 요령은 큰 모델에도 대부분 통하기 때문에, 어려운 환경에서 연습해 두면 강력한 도구를 한층 효과적으로 쓸 수 있다고 그는 주장했다. 다만 이는 검증된 연구가 아니라 글쓴이 개인의 견해에 해당한다.

모델을 실제로 돌리려면 몇 가지 요소가 필요하다고 에베를뢰프는 설명했다. 모델 파일과, 이를 작동시켜 결과를 만들어 내는 실행 환경(런타임), 그리고 모델을 쉽게 찾아 내려받고 설정하도록 돕는 관리 도구다. 그는 화면으로 손쉽게 다룰 수 있는 'LM 스튜디오(LM Studio)'를 추천하면서, 비슷한 도구로 올라마(Ollama)와 잰(Jan)도 함께 소개했다.

다만 손이 가는 대목도 있다. 그는 LM 스튜디오가 처음에는 모델이 다룰 수 있는 정보량, 즉 '컨텍스트 윈도우'를 매우 작게 잡아 두기 때문에 이를 직접 늘려 줘야 한다고 했다. 컨텍스트 윈도우란 모델이 한 번에 기억하고 다룰 수 있는 정보의 분량을 말한다. 코딩 도구는 작업 지시 외에도 방대한 시스템 지시문을 함께 보내기 때문에, 이 분량이 충분하지 않으면 코딩에 쓰기 어렵다는 설명이다. 또 모델을 처음 부를 때 메모리에 올리고 첫 지시를 처리하는 데 길게는 수 분이 걸리는 '콜드 스타트' 현상도 감안해야 한다고 덧붙였다.

내 컴퓨터의 사양이 부족하더라도 길은 있다. 에베를뢰프는 여러 모델을 하나의 창구로 모아 주는 서비스 '오픈라우터(OpenRouter)'에서 무료 모델을 쓸 수 있다고 안내했다. 다만 이 경우 인터넷 연결이 필요하고, 입력한 내용이 학습에 쓰일 수 있으며, 무료 제공이 언제든 중단될 수 있다는 점을 함께 짚었다. 그는 실수로 비싼 모델이 호출돼 요금이 나가지 않도록 지출 상한을 0으로 걸고 무료 모델만 허용하도록 설정하라고 당부했다.

에베를뢰프는 로컬 모델의 장점으로 인터넷 없이도 작동하고, 외부로 자료가 나가지 않아 보안에 유리하며, 사양에 따라 응답이 빠를 수 있다는 점을 들었다. 반대로 최상위 유료 모델만큼 똑똑하지는 않고, 같은 컴퓨터에서 돌릴 경우 작업이 느려질 수 있으며, 콜드 스타트와 초기 하드웨어 비용이 든다는 점은 단점으로 꼽았다. 다만 이번 글은 한 개발자가 자신의 환경에서 직접 써 본 경험과 권고를 정리한 것으로, 객관적 검증을 거친 보도와는 성격이 다르다. 어떤 모델과 설정이 알맞은지는 이용자의 작업 종류와 하드웨어에 따라 크게 달라지는 만큼, 실제 적용에 앞서 직접 시험해 볼 필요가 있다.