카카오, 초소형 AI 언어모델 '카나나-2' 공개...3B 모델 압축해 1.3B 만들어 오픈 웨이트로 배포, 3만2천 토큰 긴 문맥 처리·한국어 처리 효율 30% 개선

[한국정보기술신문] 카카오(Kakao)가 크기는 작지만 성능을 끌어올린 인공지능(AI) 언어모델 '카나나-2(Kanana-2)'를 누구나 내려받아 쓸 수 있는 형태로 공개했다. 카카오의 AI 모델 개발 조직인 카나나 LLM은 지난 7월 27일 이 모델의 가중치를 AI 모델 공유 사이트 허깅페이스(Hugging Face)에 올리고, 개발 과정을 담은 글을 자사 기술 블로그에 게시했다. 가중치란 AI 모델이 학습을 통해 얻은 내부 값으로, 이를 외부에 공개해 다른 기업이나 개인이 직접 내려받아 쓰거나 고칠 수 있게 한 것을 '오픈 웨이트(open weight)'라고 부른다. 카나나-2는 이른바 '소형 언어모델(SLM)'로, 카카오가 내놓은 두 번째 소형 언어모델 계열이다.

소형 언어모델이란 챗지피티(ChatGPT) 같은 대형 AI에 견줘 크기를 줄인 언어모델을 말한다. 언어모델의 크기는 흔히 '파라미터(매개변수)'의 개수로 나타내는데, 파라미터란 모델이 학습을 통해 얻는 내부 값으로 그 수가 많을수록 대체로 성능이 높지만 그만큼 많은 계산 자원과 메모리가 필요하다. 소형 언어모델은 파라미터 수를 줄여, 값비싼 대형 서버가 아니라 개인용 기기나 소규모 설비에서도 돌릴 수 있도록 만든 것이 특징이다.

카카오에 따르면 카나나-2 계열에는 파라미터가 각각 30억 개(3B)와 13억 개(1.3B), 9억 개(0.9B)인 세 가지 크기의 모델이 있다. 이번에 공개된 것은 이 가운데 3B 모델과, 이를 압축한 1.3B 모델이다. 각 크기마다 사전학습만 마친 '베이스(Base)' 모델과, 사람의 지시를 잘 따르도록 추가로 다듬은 '인스트럭트(Instruct)' 모델이 함께 공개돼 모두 네 종류가 배포됐다. 사전학습이란 방대한 양의 글을 미리 학습해 언어의 기본 능력을 갖추게 하는 과정을 말한다.

카카오는 특히 가장 작은 1.3B 인스트럭트 모델을 스마트폰 같은 기기에서 직접 구동하는 이른바 '온디바이스(on-device)' 용도로 겨냥했다고 밝혔다. 온디바이스란 인터넷 너머의 서버가 아니라 이용자가 손에 든 기기 안에서 AI를 직접 돌리는 방식으로, 자료를 외부로 보내지 않아도 되고 인터넷 연결 없이도 쓸 수 있다는 장점이 있다.

30억 개짜리 3B 모델은 구글이 만든 AI 전용 계산장치인 TPU를 여러 대 묶은 설비에서 처음부터 학습됐다. 이후 사람이 만든 예시 답안을 따라 배우는 '지도 미세조정'과, 좋은 답에 보상을 주며 스스로 나아지게 하는 '강화학습'을 거쳐 지시를 따르고 추론하는 능력을 끌어올렸다.

13억 개짜리 1.3B 모델은 이렇게 만든 3B 모델을 단계적으로 줄여 만들었다. 카카오는 3B에서 2B, 1.3B, 0.9B로 크기를 점점 줄여 가는 방식을 썼다고 밝혔다. 이 과정에는 '가지치기(프루닝)'와 '증류'라는 두 기법이 쓰였다. 가지치기는 나무의 잔가지를 치듯 모델에서 덜 중요한 부분을 덜어 내 크기를 줄이는 방법이고, 증류는 큰 모델(선생)이 내는 답을 작은 모델(학생)이 따라 배우게 해 성능을 옮겨 담는 방법을 말한다. 큰 모델의 능력을 작은 모델에 최대한 옮기면서도 크기는 줄이려는 것이다.

카카오는 1.3B 모델의 실제 사용 효율을 더 높이기 위해 '슬라이딩 윈도 어텐션(SWA)'이라는 기술을 적용했다고 밝혔다. 언어모델은 글을 처리할 때 앞서 나온 내용을 참고하는데, 이렇게 어느 부분에 얼마나 주목할지를 정하는 방식을 '어텐션(attention)'이라고 한다. 문장이 길어질수록 참고해야 할 내용이 많아져 메모리 부담이 커진다. 슬라이딩 윈도 어텐션은 매번 글 전체를 보는 대신 가까운 일정 범위만 집중해서 보게 함으로써 이 부담을 줄이는 방식이다.

카나나-2 1.3B는 이런 좁은 범위만 보는 층과 전체를 보는 층을 3대 1 비율로 섞어 놓았다. 카카오에 따르면 이 방식으로 문맥이 3만2천 토큰(token)에 이를 때, 이전 계산 결과를 저장해 두는 메모리(KV 캐시) 사용량을 전체를 다 보는 방식과 견줘 최대 약 72.7%까지 줄일 수 있다. 토큰이란 모델이 글을 처리하는 기본 단위로, 단어나 단어의 조각을 가리킨다. 카나나-2는 최대 3만2768개의 토큰까지 한 번에 처리할 수 있어, 긴 문서도 여러 조각으로 나눠 넣지 않고 다룰 수 있다.

아울러 카카오는 한국어를 처리하는 효율도 개선했다고 밝혔다. 카나나-2에 새로 적용한 '토크나이저(tokenizer)', 곧 글을 토큰으로 잘게 나누는 장치가 이전 세대보다 한국어를 30% 넘게 효율적으로 처리한다는 것이다. 같은 문장을 더 적은 수의 토큰으로 나눌 수 있으면 처리 속도와 비용 면에서 유리하고, 한국어를 다루는 서비스에서 특히 효율을 높일 수 있다.

카카오는 여러 성능 시험(벤치마크) 결과도 함께 공개했다. 벤치마크란 AI의 성능을 정해진 문제로 재는 표준 시험을 말한다. 회사에 따르면 카나나-2 모델은 특히 한국어 관련 시험에서 비슷한 크기의 경쟁 모델보다 나은 성적을 보였다. 예를 들어 한국어 지식과 언어 능력을 재는 '하에라이(HAE-RAE)' 시험이나 한국어 종합 지식을 재는 '케이엠엠엘유(KMMLU)' 시험에서 1.3B 모델은 비슷한 크기의 다른 회사 모델을 앞섰다고 밝혔다. 컴퓨터 프로그램 코드를 짜는 능력을 재는 시험에서도 좋은 성적을 냈다.

다만 모든 항목에서 앞선 것은 아니다. 카카오가 함께 공개한 자료를 보면, 수학 문제 풀이 같은 일부 시험에서는 비교 대상으로 삼은 다른 회사의 모델이 더 높은 점수를 기록했다. 즉 카나나-2는 한국어와 코딩 등에서 강점을 보이는 한편, 수학 등 일부 영역에서는 상대적으로 약한 모습을 보인 셈이다.

카카오는 카나나-2를 학습하는 과정에서 카카오 이용자의 데이터를 쓰지 않았다고 밝혔다. 사전학습과, 그 뒤에 지시를 따르도록 다듬는 사후학습 어느 단계에서도 이용자 데이터를 사용하지 않았다는 것이다. 개인정보 활용을 둘러싼 우려를 의식한 설명으로 풀이된다.

공개된 모델은 카카오가 정한 '카나나 오픈 라이선스'에 따라 배포된다. 이에 따라 개발자와 기업은 모델을 내려받아 자신의 서비스에 활용하거나 목적에 맞게 고쳐 쓸 수 있다.

공개된 성능 수치는 대부분 카카오가 자체적으로 측정해 제시한 값인 만큼, 실제 성능은 앞으로 외부의 독립적인 검증과 여러 이용자의 사용 경험을 통해 확인해야 할 대목이다. 또 소형 언어모델은 크기가 작은 만큼 대형 모델에 견줘 다룰 수 있는 작업의 폭이나 정확도에 한계가 있을 수 있다. 그럼에도 성능을 유지하면서 크기를 줄여 개인용 기기에서도 돌릴 수 있게 하고 한국어 처리 효율을 높였다는 점에서, 국내 AI 생태계에 보탬이 될 것이라는 평가가 나온다.