AMD, AI 모델을 반도체에 새기는 스타트업 '탈라스' 인수...메모리 없이 가중치를 실리콘에 직접 각인, 초당 1만7000토큰 시제품으로 엔비디아 추론 시장 정조준

[한국정보기술신문] 미국 반도체 기업 AMD가 인공지능(AI) 모델을 반도체에 통째로 새겨 넣는 기술을 가진 캐나다 스타트업 탈라스(Taalas)를 인수한다고 8월 6일(현지시간) 장 마감 직후 발표했다. AI 반도체 시장을 사실상 독점하고 있는 엔비디아(NVIDIA)를 겨냥한 AMD의 또 한 번의 승부수로, 회사 측은 인수 금액을 공개하지 않았다. 인력만 데려오는 이른바 '인수 고용'이 아니라 회사 자체를 사들이는 실질적인 인수라는 것이 업계의 설명이다. 이번 거래는 각국 규제 당국의 승인을 거쳐 올해 4분기 중 마무리될 전망이다.

탈라스는 2023년 캐나다 토론토에서 설립된 신생 반도체 기업이다. 이 회사가 만드는 칩은 AI 추론에 특화돼 있다. 추론이란 이미 학습을 마친 AI 모델이 이용자의 질문을 받아 실제로 답을 만들어 내는 과정을 말한다. AI 모델을 처음부터 가르치는 '학습'과 달리, 추론은 서비스가 운영되는 내내 반복되기 때문에 속도와 비용이 곧 서비스의 경쟁력으로 이어진다. 최근 챗봇을 넘어 스스로 여러 단계를 밟아 일을 처리하는 'AI 에이전트'와 코딩 보조 도구가 확산되면서, 값비싼 고성능 추론을 더 빠르고 싸게 제공하는 일이 업계의 공통 과제로 떠올랐다.

탈라스의 접근법은 기존 그래픽처리장치(GPU)와 근본적으로 다르다. 일반적인 AI 가속기는 모델의 '가중치'를 고대역폭메모리(HBM) 같은 별도의 메모리에 담아 두고, 계산할 때마다 이를 불러와 쓴다. 가중치란 AI 모델이 학습을 통해 얻은 수십억 개의 내부 숫자값으로, 모델의 능력이 담긴 실체에 해당한다. 문제는 이 값을 메모리에서 계산장치로 옮기는 데 시간과 전력이 많이 든다는 점이다. 오늘날 추론 속도의 발목을 잡는 가장 큰 병목이 바로 이 데이터 이동이다.

탈라스는 아예 이 과정을 없애는 쪽을 택했다. 가중치를 메모리에 저장하는 대신 반도체를 만드는 단계에서 회로에 직접 새겨 넣는 방식이다. 특정 모델 하나만을 위해 만들어진 칩인 셈이어서, 업계에서는 이를 '모델 특화 집적회로(MSIC)'라고 부른다. 회사는 칩의 작동 방식을 자세히 공개하지 않고 있으나, 프로세서가 크게 두 영역으로 나뉜다는 점은 알려져 있다. 하나는 가중치가 새겨지는 '마스크 롬' 영역이고, 다른 하나는 대화의 맥락을 담는 임시 기억장치(KV 캐시)와 모델을 조금씩 손보는 소형 보조 모듈이 들어가는 'S램' 영역이다.

탈라스의 기술은 구상 단계에 머물러 있지 않다. 이 회사는 지난 2월 대만 TSMC의 6나노 공정으로 만든 첫 시험용 칩 'HC1'을 공개했다. 초기 성능 측정에서 이 칩은 메타(Meta)의 언어모델 '라마 3.1 8B'를 초당 1만6960토큰 속도로 처리했다. 토큰이란 AI가 글을 다룰 때 쓰는 최소 단위로, 대체로 짧은 단어나 단어 조각 하나에 해당한다. 회사는 발표 당시 이 수치가 엔비디아 GPU보다 48배, 세레브라스(Cerebras)의 가속기보다 8.5배 빠른 것이라고 밝혔다.

다만 라마 3.1은 2024년 중반에 나온 모델로, 지금 기준으로는 상당히 오래된 축에 든다. 이 칩은 성능 경쟁보다 개념을 입증하기 위한 시제품 성격이 강하다는 평가다. 탈라스는 올여름 출시를 목표로 2세대 칩 'HC2'를 준비 중이며, 칩 한 장에 담을 수 있는 매개변수 규모를 200억 개까지 늘린다는 계획이다. 매개변수 200억 개는 최신 대형 모델에 견주면 크지 않아 보이지만, 여러 칩에 모델을 나눠 싣는 방식으로 규모를 키울 수 있다. 이 방식대로라면 1조 개 규모의 대형 모델도 가속기 50장이면 감당할 수 있다는 계산이 나온다.

AMD가 탈라스를 사들인 배경에는 이 회사가 이미 갖춘 시스템 기반이 있다. AMD는 자사 AI 가속기 '인스팅트(Instinct)'를 기반으로 한 랙 규모 서버 '헬리오스(Helios)'와 자체 시스템 설계 조직을 보유하고 있다. 업계에서는 AMD가 이 헬리오스 랙에 탈라스 기술을 적용한 칩을 함께 얹는 구조를 그리고 있는 것으로 보고 있다. 계산량이 많은 질문 분석 단계는 GPU가 맡고, 답을 한 글자씩 만들어 내는 단계는 탈라스 기반 가속기가 넘겨받는 이른바 '분리형' 구조다. 고객이 먼저 인스팅트 가속기에서 모델을 검증한 뒤, 만족하면 탈라스 가속기로 옮겨 가는 단계적 운영 방식도 가능하다는 관측이 나온다.

바슈 보파나 AMD AI 부문 수석부사장은 발표문에서 "AMD는 고객이 모든 AI 작업에 알맞은 컴퓨팅 방식을 골라 쓸 수 있도록 전 계층을 아우르는 AI 플랫폼을 만들고 있다"고 밝혔다. 이번 인수는 지난해 12월 엔비디아가 200억 달러를 들여 그록(Groq)의 기술을 사용하기로 한 계약과 비슷한 맥락으로 읽힌다. 두 거래 모두 고성능 추론 서비스의 속도와 비용을 개선하려는 목적이라는 점에서다.

속도가 빠른 만큼 뚜렷한 약점도 있다. 가중치가 회로에 새겨져 있기 때문에, 한 번 배치한 칩은 그 모델에서 벗어날 수 없다. 소형 보조 모듈을 갈아 끼우는 정도를 넘어서는 변경은 칩을 다시 만들어야 하는데, 이는 비용과 시간이 크게 드는 일이다. AI 확산이 본격화한 지 4년 가까이 지난 지금도 새 모델이 거의 매달 쏟아지는 상황에서, 이 기술을 쓰려는 기업은 어떤 모델을 오래 쓸지 확신할 수 있어야 한다.

탈라스는 사정이 알려진 것만큼 나쁘지는 않다는 입장이다. 새 모델을 적용할 때 칩을 처음부터 다시 설계할 필요는 없고, 회로를 이루는 금속 배선 가운데 두 개 층만 바꾸면 된다는 것이다. 회사는 지난 2월 인터뷰에서 모델 가중치를 실리콘에 새기는 비용이 최첨단 모델을 처음부터 학습시키는 비용의 100분의 1 수준이라고 설명하기도 했다. 이런 특성 탓에 이 기술은 당분간 모델 개발사와 대형 인프라 사업자, 일부 추론 전문 기업 중심으로 쓰일 것이라는 전망이 우세하다.

AMD로서는 협상 여건이 나쁘지 않다. 오픈AI와 앤스로픽, 메타 등 주요 모델 개발사가 모두 인스팅트 가속기의 큰 고객이기 때문이다. 이 기술은 모델 개발 방식에도 영향을 줄 수 있다. AI가 답을 내놓기 전에 더 오래 '생각'하도록 해 정확도를 높이는 기법이 최근 널리 쓰이는데, 토큰을 많이 소모해 비용과 대기 시간이 늘어난다는 문제가 있었다. 토큰당 비용이 낮아지고 처리 속도가 10~20배 빨라지면 개발사들이 생각하는 시간을 더 늘리는 선택을 할 수 있다는 것이다.