프리즘ML, '27B급 AI' 스마트폰서 돌린다...세계 최초 '손안의 27B 모델' 공개...3.9GB로 아이폰에 담아, 삼진·1비트 초저비트 기술로 성능 90% 지키며 온디바이스 에이전트 시대 연다

[한국정보기술신문] 인공지능(AI) 스타트업 프리즘ML(PrismML)이 스마트폰에서 곧바로 실행되는 27B급 대형 AI 모델 '봉사이 27B(Bonsai 27B)'를 공개했다. 이 회사는 지난 7월 14일 공식 발표를 통해, 알리바바의 오픈소스 모델 '큐원3.6(Qwen3.6) 27B'를 바탕으로 만든 이 모델이 같은 성능 등급 가운데 처음으로 휴대전화에서 구동되는 모델이라고 밝혔다. 프리즘ML은 봉사이 27B를 누구나 자유롭게 쓰고 고칠 수 있는 아파치 2.0 라이선스로 이날 함께 공개했다.

여기서 '27B'란 모델이 학습으로 익힌 값인 매개변수(파라미터)가 약 270억 개(27 billion)라는 뜻이다. 매개변수가 많을수록 대체로 더 똑똑하지만, 그만큼 모델이 차지하는 용량도 커진다. 프리즘ML에 따르면 270억 개짜리 모델은 원래 형식(16비트) 그대로면 약 54기가바이트(GB)에 이르고, 용량을 4분의 1로 줄인 이른바 4비트 형식으로 만들어도 18GB에 달한다. 이 정도 크기로는 스마트폰은 물론 웬만한 노트북에도 담기 어렵다는 것이 그동안 고성능 AI를 개인 기기에서 직접 돌리기 힘들었던 이유였다.

봉사이 27B가 이 벽을 넘은 핵심은 모델의 값을 아주 잘게 쪼개 저장하는 '초저비트' 기술에 있다. 보통 AI 모델은 각 매개변수를 소수점이 붙은 정밀한 숫자로 저장하는데, 프리즘ML은 이 값을 단 몇 가지 정수로 단순화했다. 값의 정밀도를 낮춰 용량을 줄이는 이런 작업을 '양자화'라고 부른다.

봉사이 27B는 두 가지 형태로 나온다. 하나는 각 값을 −1, 0, +1 세 가지로만 표현하는 '삼진(터너리) 봉사이 27B'다. 값 하나가 차지하는 용량이 사실상 1.71비트에 불과해, 모델 전체 크기가 5.9GB로 줄었다. 프리즘ML은 이 형태를 성능을 우선한 판으로 소개하며, 일반적인 노트북에서 추론·도구 사용·자율 작업 능력을 온전히 발휘한다고 설명했다.

다른 하나는 각 값을 −1과 +1 두 가지로만 나타내는 '1비트 봉사이 27B'다. 값 하나가 1.125비트만 쓰도록 더 줄여 모델 크기가 3.9GB에 그친다. 프리즘ML은 이 형태가 아이폰 17 프로의 메모리 한도 안에 들어가, 27B급 모델을 처음으로 휴대전화에 올렸다고 밝혔다.

두 형태 모두 글뿐 아니라 그림도 함께 이해하는 '멀티모달' 모델로, 화면 캡처나 문서, 카메라 입력을 기기 안에서 인식할 수 있다. 또 한 번에 약 26만(262K) 토큰 분량의 긴 내용을 다룰 수 있고, 답을 더 빠르게 만들어 내는 '투기적 디코딩' 기법도 지원한다. 토큰이란 AI가 글을 처리할 때 쓰는 최소 단위를 말한다.

값을 이렇게 거칠게 줄이면 성능이 크게 떨어질 것 같지만, 프리즘ML은 손실이 크지 않았다고 밝혔다. 회사가 지식·추론·수학·코딩·지시 따르기·도구 사용·시각 등 15개 항목으로 시험한 결과, 삼진 봉사이 27B는 원본 모델 성능의 95%를, 1비트 봉사이 27B는 90%를 지켜 냈다는 것이다. 이 시험은 모델이 충분히 생각하며 답하는 '추론 모드'에서 진행됐다.

프리즘ML이 공개한 표를 보면, 전체 평균 점수는 원본인 큐원3.6 27B가 85.0점, 삼진 봉사이 27B가 80.5점, 1비트 봉사이 27B가 76.1점이었다. 특히 수학과 코딩 점수는 원본과 거의 차이가 없었고, AI가 스스로 외부 도구를 불러 쓰는 '도구 사용' 능력도 원본과 몇 점 차이에 그쳤다. 회사는 이 부분이 여러 단계를 스스로 처리하는 자율 작업에서 특히 중요한 능력이라고 설명했다.

프리즘ML은 같은 원본 모델을 종전 방식으로 가장 강하게 압축한 판과 비교하면, 1비트 봉사이 27B가 메모리는 2.5배 적게 쓰면서 점수는 뚜렷이 높았다고 주장했다.

프리즘ML은 이번 성과를 '지능 밀도'라는 잣대로 설명했다. 지능 밀도란 모델이 용량 1GB당 얼마만큼의 지능을 담고 있는지를 나타내는 개념으로, 이 회사가 앞선 모델을 내놓으며 제시한 척도다. 회사에 따르면 1비트 봉사이 27B의 지능 밀도는 1GB당 0.53으로, 원본 모델의 10배가 넘고 경쟁 저비트 모델과 견줘도 약 2.7배에 이른다. 결국 원래 20억 개짜리 모델보다도 작은 용량에 270억 개급 성능을 담았다는 설명이다.

프리즘ML은 이번 모델의 의미를 AI 활용 방식의 변화에서 찾았다. 회사는 AI 활용이 한 번 묻고 한 번 답하는 방식에서, 여러 도구를 직접 다루며 수백 단계를 스스로 밟아 나가는 '에이전트' 방식으로 옮겨 가고 있다고 진단했다. 에이전트란 사람이 일일이 지시하지 않아도 목표를 향해 스스로 여러 작업을 처리하는 AI를 말한다.

이런 작업을 지금처럼 멀리 있는 클라우드 서버에 맡기면, 단계마다 요금이 쌓이고 이용자의 파일·화면·자료가 매번 인터넷을 오간다. 반면 모델이 기기 안에 있으면 아무리 여러 단계를 돌려도 추가 비용이 들지 않고, 자료도 기기 밖으로 나가지 않는다. 프리즘ML은 인터넷 없이도 쓰는 개인 비서, 기기 안 자료만으로 판단하는 도우미 같은 활용이 열린다고 설명했다. 나아가 민감하거나 가벼운 일은 기기 안 모델이 맡고 가장 어려운 일만 클라우드에 넘기는 혼합 방식도 가능하다고 덧붙였다.

속도 면에서 회사는 엔비디아 지포스 RTX 5090에서 1비트가 초당 최대 163토큰, 삼진이 134토큰을 냈고, 애플 M5 맥스에서는 각각 87토큰, 58토큰을 기록했다고 밝혔다. 다만 스마트폰은 전체 메모리를 앱에 모두 내주지 않는다. 프리즘ML은 12GB짜리 아이폰이 모델에 내주는 몫이 약 6GB 남짓인데, 여기에 계산 과정에 필요한 공간까지 나눠 써야 한다며, 약 4GB인 1비트 봉사이 27B가 이 관문을 여유 있게 통과한 첫 모델이라고 강조했다.

봉사이 27B는 애플 기기에서는 MLX, 엔비디아 그래픽카드에서는 CUDA를 통해 곧바로 실행된다. 모델 파일은 이날부터 아파치 2.0 라이선스로 내려받을 수 있으며, 프리즘ML은 개발자가 손쉽게 시험해 볼 수 있도록 기간 한정 무료 개발자용 API도 함께 제공한다고 밝혔다. 압축·평가 방식의 자세한 내용은 회사가 공개한 백서에 담겼다.

프리즘ML은 미국 캘리포니아공과대(칼텍) 연구진이 창업한 회사로, 코슬라 벤처스와 세버러스, 구글의 지원을 받아 설립됐으며 삼성도 계속 지원하고 있다고 소개했다. 회사는 추론 능력을 잃지 않으면서 신경망을 압축하는 문제를 수년간 연구해 왔다고 밝혔다.