한국어로 AI 쓰면 토큰 3~5배 더 소비…같은 구독료에 받는 서비스는 3분의 1, "영어로 묻고 한국어로 받아라"

[한국정보기술신문] 같은 요금제를 쓰는데도 누구는 금세 "사용량 제한에 도달했다"는 안내를 받고, 누구는 한참을 더 쓴다. 그 차이의 한 원인으로 '사용 언어'가 지목되고 있다. 클로드(Claude)나 챗지피티(ChatGPT) 같은 생성형 인공지능(AI) 서비스에서 한국어로 질문하면, 같은 의미를 영어로 물을 때보다 토큰을 3~5배 더 소비하는 것으로 나타났다. 의미도, 받는 답변도, 내는 구독료도 같지만 한국어 사용자는 같은 돈을 내고도 더 적은 질문밖에 할 수 없는 구조다.

AI 모델은 문장을 글자 그대로 읽지 않고 '토큰(token)'이라는 조각으로 쪼개 처리한다. 영어는 대체로 단어 하나가 토큰 하나에 대응해, "I love coffee"는 3개 토큰으로 처리된다. 문장을 토큰으로 나누는 장치를 토크나이저(tokenizer)라 부르는데, 대부분의 AI 서비스는 자주 등장하는 글자 조합을 하나의 토큰으로 묶는 BPE(Byte Pair Encoding) 방식을 쓴다.

훈련 데이터의 대부분이 영어이기 때문에 "the", "ing", "tion" 같은 영어 조합은 효율적으로 한 토큰에 담긴다. 반면 한국어는 훈련 데이터에서 차지하는 비중이 작아 글자 조합이 충분히 묶이지 못한다. 영어 "hello"가 1토큰인 데 비해 한국어 "안녕하세요"는 3~5토큰으로 쪼개지는 식이다. AI 서비스의 사용량 제한이 이 토큰 수를 기준으로 적용되기 때문에, 토큰을 많이 쓸수록 제한에 더 빨리 걸린다.

한국어가 토큰 면에서 불리한 데에는 세 가지 구조적 원인이 있다. 첫째는 교착어라는 특성이다. 한국어는 어근에 조사와 어미가 붙어 "먹다", "먹었다", "먹었었다", "먹었었겠다"처럼 한 단어가 다양하게 변형된다. 토크나이저는 이 변형을 각각 별개의 패턴으로 처리해야 해, "eat", "ate", "eaten" 수준에서 끝나는 영어보다 복잡도가 높다.

둘째는 글자를 저장하는 방식이다. 영어 알파벳은 UTF-8 인코딩 기준 1바이트지만 한글 한 글자는 3바이트다. BPE 토크나이저가 바이트 단위로 작동하는 만큼, 한국어 한 글자를 처리하는 데 영어의 3배에 해당하는 원재료가 든다.

셋째이자 핵심은 훈련 데이터의 편향이다. 클로드의 토크나이저 어휘에 담긴 한국어 토큰은 수백 개 수준에 불과한 반면 영어 토큰은 수만 개에 이른다. 태국어는 4개, 조지아어는 1개뿐인 경우도 있다. 자주 보는 패턴을 더 효율적으로 묶는 BPE 원리상, 데이터에 적게 등장하는 언어는 구조적으로 불리할 수밖에 없다.

커뮤니티 벤치마크와 학술 연구를 종합하면, 같은 의미를 전달할 때 영어 사용자가 100토큰으로 하는 대화를 한국어로는 300~500토큰을 써야 한다. 토큰이 곧 비용이자 사용량 제한인 환경에서 이 격차는 무시하기 어렵다. 한국어 사용자 사이에서는 "같은 동아시아 언어인 일본어보다도 비효율적인 경우가 있다"는 지적도 나온다. 교착어 특성과 토크나이저 어휘 규모의 차이가 겹치면서 한국어가 특히 불리한 위치에 놓인다는 것이다.

문제는 이 격차가 당장의 불편으로 이어진다는 점이다. 주요 AI 서비스는 모두 토큰 기반 사용량 제한을 두고 있다. 클로드 프로(Pro·월 20달러)는 5시간마다 약 45개 메시지로 제한되고, 챗지피티 플러스(Plus·월 20달러)는 3시간마다 모델별 80~160개 메시지로 묶인다. 코딩 보조 도구인 클로드 코드(Claude Code) 프로는 5시간당 약 4만4000토큰을 쓸 수 있는데, 영어로 작업하면 넉넉하지만 한국어로 대화하면 실질적으로 1만5000토큰 이하의 예산과 다름없다. 구독료는 같은데 받는 서비스의 양이 다른 셈이다.

이 문제는 한국만의 것이 아니다. 비영어권 전반이 비슷한 상황에 놓여 있고 각국이 나름의 대응을 하고 있다. 일본 핀테크 기업 레이어엑스(LayerX)는 2025년 엔지니어링 블로그에서 AI의 중간 추론 과정은 영어로 수행하고 최종 답변만 일본어로 출력하게 한 결과 출력 토큰을 약 20% 줄였다고 밝혔다. 일본 개발자 커뮤니티에서는 이런 방식이 이미 표준 관행에 가깝다는 분석도 나온다.

중국은 모델 자체를 만드는 길을 택했다. 딥시크(DeepSeek)-V3는 12만8000개 어휘의 토크나이저를, 큐원(Qwen) 3은 15만2000개 어휘에 119개 언어를 지원하는 토크나이저를 자체 개발했다. 토큰 배율이 10~15배로 한국어보다 상황이 심각한 태국에서는, SCB10X가 개발한 타이푼(Typhoon)이 태국어 토크나이징 효율을 기존보다 2.62배 개선했고, 오픈타이지피티(OpenThaiGPT)는 기존 토크나이저에 태국어 토큰 2만4554개를 더해 토큰 소비를 3분의 1로 줄였다.

한국에서는 서울대 연구팀이 한국어 문법 구조에 맞춘 토크나이저 '선더톡(Thunder-Tok)'을 개발해 기존 라마(LLaMA) 토크나이저 대비 44%의 토큰 절감을 달성하고 특허를 출원했다. 연구팀은 이를 해외 빅테크에 의존하지 않는 독자적 거대언어모델(LLM) 개발, 즉 'AI 주권'의 문제로 보고 있다.

요금 정책 차원의 문제 제기도 있다. 2025년 국제머신러닝학회(ICML)에서 막스플랑크연구소는 토큰당 과금이 구조적으로 불공정하다는 점을 수학적으로 증명하고 '글자당 과금(pay-per-character)'을 대안으로 제시했다. 기술을 바꿀 필요 없이 과금 단위만 바꾸면 되는 사업적 결정이라는 것이다. 메타(Meta)는 2024년 토크나이저 자체를 없애고 바이트 단위로 처리하는 아키텍처 '바이트 레이턴트 트랜스포머(BLT)'를 발표하기도 했다. 다만 2026년 현재 오픈AI, 앤스로픽, 구글 가운데 언어별 차등 요금이나 글자당 과금을 도입한 곳은 없으며, 새 토크나이저와 아키텍처, 요금 정책은 모두 연구·제안 단계에 머물러 있다.

근본 해법이 모두 연구 단계인 가운데, 당장 쓸 수 있는 것은 사용자 측의 대응뿐이다. 가장 직접적인 방법은 프롬프트를 영어로 쓰는 것이다. 질문이나 지시를 영어로 적고 끝에 "Reply in Korean"(한국어로 답하라) 한 줄만 더하면, 입력 토큰은 3~5배 줄고 결과물은 여전히 한국어로 나온다.

한 단계 더 나아가 AI의 사고 과정까지 영어로 돌릴 수도 있다. 최신 모델은 답변을 내놓기 전 내부적으로 '생각'하는 과정을 거치는데, 한국어로 질문하면 이 과정에서도 한국어 토큰이 소비된다. 프롬프트에 "Think in English"(영어로 생각하라)를 추가하면 사고 과정 자체가 더 적은 토큰으로 처리된다. 앞서 레이어엑스가 출력 토큰을 20% 줄인 것도 이 기법을 적용한 사례다. 코드 리뷰나 데이터 분석처럼 결과물의 언어가 중요하지 않은 작업이라면, 입력·사고·출력을 모두 영어로 하는 것이 토큰 효율 면에서는 가장 낫다.

전문가들은 AI에 보내는 영어가 완벽할 필요는 없다고 조언한다. 문법이 틀려도 AI가 의도를 파악하므로, 유창함보다 토큰 효율이 목적임을 기억하면 된다는 것이다. 대화가 길어질수록 이전 내용이 매번 다시 전송돼 격차가 누적되는 만큼, 처음부터 영어로 시작하는 편이 유리하다. 한국어 보고서나 콘텐츠처럼 결과물이 반드시 한국어여야 하는 경우가 아니라면, 프롬프트 언어 하나를 바꾸는 것만으로 사용 가능 시간이 두세 배 늘어날 수 있다.