샤오미, 로봇 기초모델 '샤오미-로보틱스-1' 공개...10만 시간 실제 조작 데이터로 학습...로봇 없이 모은 데이터로 사전학습해 '데이터 장벽' 넘어

[한국정보기술신문] 중국 샤오미(Xiaomi)가 다양한 작업을 곧바로 수행할 수 있는 로봇용 인공지능(AI) 모델 '샤오미-로보틱스-1(Xiaomi-Robotics-1)'을 공개했다. 샤오미의 로봇 연구조직은 지난 7월 16일 공식 페이지를 통해 이 모델을 소개하고, 자세한 내용을 담은 보고서와 함께 프로그램 코드, 학습된 모델을 각각 논문 사전공개 사이트 아카이브(arXiv)와 개발자 협업 공간 깃허브(GitHub), AI 모델 공유 사이트 허깅페이스(Hugging Face)에 공개했다.

샤오미-로보틱스-1은 이른바 '기초모델(foundation model)'이다. 기초모델이란 방대한 데이터로 미리 폭넓게 학습해 둔 뒤 여러 작업에 두루 가져다 쓸 수 있는 대형 AI 모델을 말한다. 샤오미는 이 모델을 10만 시간이 넘는 실제 조작 데이터로 학습시켰다고 밝혔다. 여기서 조작이란 로봇이 손이나 집게 같은 장치로 물건을 집고 옮기고 다루는 일을 뜻한다.

샤오미는 이번 연구의 목표를 '데이터 장벽 돌파'라고 설명했다. 최근 언어와 이미지를 다루는 AI는 데이터와 모델 크기, 계산량을 키우면 성능이 그만큼 좋아지는 흐름을 따라 빠르게 발전해 왔다. 이렇게 규모를 키울수록 성능이 예측 가능하게 향상되는 현상을 '스케일링(scaling)'이라고 부른다. 그러나 로봇 분야는 이런 흐름에서 뒤처져 있었다. 로봇을 학습시키려면 실제 움직임 데이터가 대규모로 필요한데, 질 좋은 데이터를 대량으로 모으기가 어려웠기 때문이다. 샤오미는 바로 이 데이터 부족이 로봇 AI의 성능을 끌어올리는 데 가장 큰 걸림돌이었다고 지적했다.

샤오미가 택한 해법은 로봇 없이도 데이터를 모으는 방식이다. 이를 '임보디먼트-프리(embodiment-free)'라고 하는데, 특정 로봇 몸체에 얽매이지 않고 데이터를 수집한다는 뜻이다. 사람이 집게 형태의 손잡이 장치를 직접 들고 물건을 다루면 그 과정이 데이터로 기록되는 방식(UMI)으로, 값비싼 로봇을 일일이 움직이지 않고도 방대한 조작 데이터를 빠르게 쌓을 수 있다. 샤오미는 이렇게 모은 대규모 데이터로 모델을 먼저 학습시키고, 여기에 실제 로봇 데이터를 적은 양만 더해 완성하는 방법을 썼다.

샤오미가 사전 학습에 쓴 데이터는 10만 시간 분량에 이른다. 이 데이터는 가정과 상업 시설, 산업 현장, 야외 공간 등 1,700가지가 넘는 서로 다른 환경을 아우르며, 다양한 작업을 담고 있다. 이만큼 방대한 데이터에 사람이 일일이 설명을 달기는 사실상 불가능하다. 그래서 샤오미는 긴 영상을 일정한 길이로 잘게 나눈 뒤, 이미지와 언어를 함께 이해하는 AI(비전-언어 모델)가 각 장면에서 물건과 집게의 상태가 어떻게 바뀌는지를 자동으로 글로 설명해 붙이는 방식을 개발했다. 이렇게 하면 각 움직임 기록에 정확한 언어 설명이 함께 달린 대규모 자료가 만들어진다.

모델을 실제 로봇에 맞추는 사후 학습 단계에서는 여러 종류의 데이터를 함께 썼다. 샤오미가 자체 로봇으로 실제 가정에서 7,200시간이 넘는 데이터를 직접 모았고, 여기에 외부에 공개된 로봇 데이터와 앞서 설명한 방식의 고품질 데이터를 더했다. 자체 데이터에 담긴 작업으로는 소파 정리, 신발장 정돈, 주방용품 치우기 등 실생활에서 흔히 마주치는 집안일이 포함됐다.

샤오미-로보틱스-1의 학습은 요즘 거대 언어모델이 쓰는 방식과 비슷하게 두 단계로 나뉜다. 먼저 '사전 학습'은 넓이를 넓히는 과정으로, 앞서 모은 방대한 데이터를 통해 모델이 세상의 다양한 환경과 작업을 최대한 폭넓게 접하도록 한다. 이 과정에서 모델은 언어로 설명된 장면의 변화를 실제로 만들어 내는 움직임을 생성하는 법을 익힌다. 샤오미는 데이터와 모델의 크기를 키울수록 오차가 매끄럽게 줄어드는, 깔끔한 스케일링 현상이 나타났다고 밝혔다.

이어지는 '사후 학습'은 이렇게 얻은 능력을 실제 로봇과 사람의 말에 맞추는 과정이다. 크게 두 방향으로 이뤄지는데, 하나는 여러 종류의 실제 로봇 데이터를 활용해 일반적인 움직임 생성 능력을 진짜 로봇에 대응시키는 것이고, 다른 하나는 '장면이 이렇게 바뀌도록 움직여라'라는 방식에서 '이 말을 알아듣고 바로 실행하라'는 방식으로 모델을 옮겨 가는 것이다. 이 단계를 거치면 모델은 별도의 추가 조정 없이 곧바로 다양한 이동·조작 작업을 수행할 수 있게 된다는 것이 샤오미의 설명이다.

샤오미는 사전 학습에서 관찰된 스케일링 효과가 실제 로봇 성능으로도 그대로 이어지는지를 확인하기 위해, 학습에 쓰지 않은 낯선 환경과 처음 보는 물건으로 모델을 시험했다. 그 결과 사전 학습에 쓴 데이터와 모델 크기를 키울수록 실제 로봇의 작업 성공률이 꾸준하고 예측 가능하게 높아졌다. 즉 사전 학습이 강한 모델일수록 실제 로봇에서도 더 나은 성능을 냈다는 것이다. 더욱이 이런 향상은 아직 한계에 다다른 조짐을 보이지 않아, 데이터를 더 넣고 모델을 더 키우면 성능이 계속 오를 여지가 있다고 샤오미는 밝혔다.

샤오미는 이 모델이 완전히 새로운 작업도 적은 데이터만으로 빠르게 배울 수 있다고 설명했다. 휴대폰 포장, 프린터 용지 채우기, 세탁물 넣기, 상자 포장처럼 처음 접하는 복잡한 작업을 작업마다 몇 시간 분량의 시연만 보고 익혔다는 것이다. 시연이 작업당 평균 10시간에 못 미치는 조건에서 전체 성공률 75%에 이르렀는데, 이는 비교 대상으로 삼은 기존 모델 '파이 제로 포인트 파이브(π0.5)'의 같은 조건 성공률 40%의 거의 두 배에 해당한다. 시연을 평균 40시간 미만으로 늘리자 성공률은 85%까지 올랐다.

컴퓨터 속 가상 환경에서 성능을 재는 시뮬레이션 시험에서도 좋은 성적을 냈다. 샤오미는 널리 쓰이는 시험 네 종류에서 모두 1위를 기록했다고 밝혔다. 각 시험의 평균 성공률은 로보카사(RoboCasa) 74.5%, 로보카사365(RoboCasa365) 57.4%, 브이엘에이벤치(VLABench) 59.1%, 로보도조(RoboDojo) 13.93%로, 2위와의 격차는 최대 58%가량에 이르렀다. 이런 시험들은 학습하지 않은 상황에 얼마나 잘 대응하는지를 주로 평가한다.