알리바바, 개방형 AI 모델 'Qwen 3.8 27B' 공개...17GB 파일로 노트북서 구동, 개발자 실사용 점검서 "성능 뛰어나지만 기본 추론 설정은 과도" 지적

[한국정보기술신문] 중국 알리바바의 인공지능(AI) 연구조직 퀜(Qwen)이 매개변수 270억 개 규모의 개방형 AI 모델 'Qwen 3.8 27B'를 공개했다. 이 모델은 아파치 2.0 라이선스로 배포돼 누구나 내려받아 쓸 수 있으며, 글과 함께 이미지도 이해하는 시각 인식 기능을 갖췄다. 개발자이자 오픈소스 도구 제작자인 사이먼 윌리슨(Simon Willison)은 8월 16일 자신의 블로그에 이 모델을 직접 돌려 본 점검 결과를 올렸다. 그는 모델의 성능을 높이 평가하면서도, 기본으로 설정된 추론 강도가 지나치게 높아 간단한 요청에도 시간을 크게 소모한다고 지적했다.

매개변수는 AI 모델이 학습 과정에서 조정하는 수치를 말한다. 개수가 많을수록 모델이 커지고 파일 용량과 필요한 메모리도 늘어난다. 아파치 2.0 라이선스는 저작권 표시 등 최소한의 조건만 지키면 상업적 이용과 수정, 재배포를 허용하는 개방형 이용 규약이다. 이런 방식으로 가중치가 공개된 모델을 개방형 모델 또는 오픈 웨이트 모델이라고 부른다. 가중치는 학습을 마친 모델이 지닌 수치 묶음으로, 이것이 공개되면 이용자가 자신의 기기에 직접 설치해 인터넷 연결 없이 쓸 수 있다.

이번 모델의 특징은 크기다. 윌리슨은 자신이 사용한 4비트 양자화 판본의 파일 크기가 17기가바이트(GB)라고 밝혔다. 양자화는 모델 내부의 수치를 더 적은 자릿수로 줄여 용량과 메모리 사용량을 낮추는 기법으로, 성능이 일부 떨어지는 대신 일반 기기에서 구동이 가능해진다.

퀜이 공개한 자체 측정 자료에 따르면 이번 모델은 지난 4월 나온 이전 판본 'Qwen 3.6 27B'는 물론, 가중치를 공개하지 않은 상위 모델 'Qwen 3.7-플러스'보다도 높은 점수를 기록했다. 퀜은 앞서 이번 모델보다 규모가 훨씬 큰 'Qwen 3.8 2.4T-A95B'도 공개한 바 있다. 윌리슨은 자체 측정 결과가 눈에 띄는 수준이라면서도, 독립적인 평가가 어떤 결과를 내놓을지 지켜볼 필요가 있다고 밝혔다.

그는 메모리 128GB를 갖춘 맥북 프로와 엔비디아의 소형 AI 개발용 장비 'DGX 스파크' 두 대에서 모델을 구동했다. 구동에는 개인용 컴퓨터에서 AI 모델을 실행하는 프로그램인 LM 스튜디오를 주로 썼다. 초기에는 프로그램의 기본 문맥 한도인 8192토큰이 문제가 됐다. 모델이 답을 내놓기 전 생각하는 과정에서 한도를 모두 써 버렸기 때문이다. 최대치인 26만 2144토큰으로 늘리자 문제가 사라졌다. 토큰은 AI가 글을 처리할 때 다루는 최소 단위이며, 문맥 한도는 모델이 한 번에 다룰 수 있는 정보의 총량을 뜻한다.

윌리슨이 가장 크게 문제 삼은 대목은 추론 강도의 기본값이다. 퀜의 공식 문서에 따르면 이 모델은 추론 강도를 '엑스하이(xhigh)', '미디엄(medium)', '로(low)' 세 단계로 조절할 수 있으며, 기본값은 가장 높은 엑스하이로 설정돼 있다. 추론 강도란 모델이 답을 내놓기 전에 얼마나 오래 생각하는지를 조절하는 값이다. 깊이 생각할수록 정확도가 오를 수 있지만 시간과 비용도 함께 늘어난다.

그는 자신이 오랫동안 써 온 시험 문제인 '자전거를 타는 펠리컨' 그림을 그리게 했다. 기본 설정에서 모델은 21분 동안 생각을 이어 갔고, 생각에만 2만 2276토큰을 쓴 뒤 3223토큰 분량의 결과물을 내놨다. 윌리슨은 결과물 자체는 자신이 개인용 기기에서 얻은 것 가운데 가장 나았다고 평가했다. 자전거 뼈대 모양이 정확하고 펠리컨의 다리가 자전거 양쪽에 놓였으며 날개가 손잡이에 닿아 있다는 점을 근거로 들었다. 다만 그 결과가 21분을 기다릴 만한 것이었느냐는 물음에는 그렇지 않다고 답했다. 같은 요청을 추론 기능을 끈 상태로 돌리자 137초 만에 결과가 나왔으나 완성도는 떨어졌다.

'원을 그리는 이미지 파일을 만들어 달라'는 단순한 요청에서도 같은 현상이 나타났다. 모델은 배색과 구성, 움직임 효과까지 스스로 검토한 끝에 수 분 뒤 동그라미가 회전하는 화려한 결과물을 내놨다. 요청한 내용과는 거리가 있는 결과였다. 윌리슨은 이 모델을 쓸 때는 기본값을 무시하고 낮은 추론 단계나 추론을 끈 상태로 시작하라고 권했다.

시각 인식 성능에 대한 평가는 긍정적이었다. 그는 펠리컨 두 마리가 담긴 사진을 주고 각 개체를 둘러싼 사각형의 좌표를 숫자로 돌려 달라고 요청했다. 모델이 내놓은 좌표는 실제 사진 속 위치와 거의 일치했다. 이는 사진에서 특정 대상이 어디에 있는지 찾아내는 능력을 확인하는 방식으로, 시각 인식 모델의 성능을 가늠하는 대표적인 시험 가운데 하나다.

이 좌표를 화면에 표시해 주는 웹 도구도 모델이 직접 만들었다. 요청 한 번으로 이미지 주소와 좌표를 입력받아 사각형을 그려 주는 화면이 완성됐다. 다만 요청하지 않은 예시 화면 기능까지 스스로 추가하는 등 필요 이상으로 복잡하게 만들어졌다. 반대로 추론을 끈 상태에서는 사각형이 엉뚱한 위치에 표시되는 문제가 나타났다. 윌리슨은 이 사례를 두고 추론 기능이 결과의 차이를 만드는 대목이 분명히 있다고 평가했다.

스스로 파일을 읽고 명령을 실행하며 작업을 처리하는 코딩 도우미 프로그램도 이 모델로 구동해 봤다. 그는 시스템 지시문이 비교적 짧은 프로그램을 골라 연결한 뒤, 특정 소프트웨어의 인증 구조를 설명해 달라고 요청했다. 모델은 여러 파일을 차례로 확인한 끝에 설명을 내놨다. 이어 기록 파일을 읽기 쉬운 형식으로 바꾸는 파이썬 코드를 만들고 시험까지 마쳤다.

가장 큰 약점으로는 속도가 꼽혔다. 윌리슨이 측정한 생성 속도는 초당 15~30토큰 수준이었다. 그는 이 정도면 못 쓸 정도는 아니지만, 훨씬 빠른 상용 서비스에서 돌아서기는 어려운 수준이라고 밝혔다. 성능 측정 기관 아티피셜 애널리시스(Artificial Analysis)의 자료를 인용해, 비교 대상이 되는 상용 모델의 속도가 초당 74토큰과 184토큰으로 집계된다고 덧붙였다.

개선 시도도 소개됐다. 이 모델은 다중 토큰 예측(MTP) 기능을 지원한다. 가벼운 장치가 여러 토큰을 미리 추측하면 본 모델이 맞는지 확인하는 방식으로, 처리 속도를 끌어올리는 기법이다. 그는 이 기능을 켜고 돌린 결과 기존 방식보다 약 72% 빠른 결과를 얻었다고 밝혔다. 앞으로 몇 주 사이 더 많은 개선 방법이 나올 것으로 내다봤다.

윌리슨은 17GB 파일 하나가 이 정도 일을 해낸다는 사실 자체를 성과로 꼽았다. 긴 문맥 처리와 도구 사용, 시각 인식, 코드 작성을 모두 갖춘 개방형 모델을 개인용 기기에 담을 수 있게 됐다는 것이다. 다만 이 모델은 내부를 여러 전문가 조직으로 나누지 않은 밀집형 구조여서 메모리 대역폭을 많이 요구하며, 이 때문에 속도가 떨어진다는 분석도 함께 내놨다. 대역폭은 정해진 시간에 주고받을 수 있는 데이터의 양을 뜻한다.