엔비디아, 개방형 '월드 모델'로 물리 AI 생태계 확장...로봇·자율주행·비전 AI 겨냥한 코스모스 3, 640억~40억 매개변수 3종으로 공개...삼성전자·LG전자·두산로보틱스 등 활용

[한국정보기술신문] 엔비디아(NVIDIA)가 로봇과 자율주행차, 영상 인식 시스템 등 현실 세계에서 움직이는 인공지능(AI)을 겨냥한 개방형 '월드 모델(world model)' 확산에 힘을 싣고 있다. 엔비디아는 지난 8월 6일(현지시간) 자사 블로그에 밍유 리우(Ming-Yu Liu)의 이름으로 글을 올려, 개방형 월드 모델이 이른바 '물리 AI(physical AI)'의 발전을 이끌고 있다고 밝혔다. 월드 모델이란 물리적 환경이 어떻게 움직이는지, 다음에 무슨 일이 벌어질지, 어떤 행동이 알맞은지를 학습한 AI 모델을 말한다. 물리 AI는 화면 속 정보만 다루는 것이 아니라 실제 공간에서 사물을 다루고 움직이는 AI를 가리킨다.

엔비디아는 지난 7월 200곳이 넘는 기업·기관과 함께 '개방형 가중치와 미국의 AI 리더십'이라는 제목의 공개서한에 서명했다고 밝혔다. 이 서한은 AI 분야의 주도권이 어느 한 최첨단 모델이 아니라, 개방형 생태계가 모든 산업 분야에 얼마나 널리 뻗어 나가느냐로 가늠된다는 주장을 담고 있다. 여기서 개방형 모델(오픈 모델)이란 누구나 내려받아 내부를 들여다보고 고쳐서 자기 설비에서 돌릴 수 있는 모델을 말한다.

엔비디아는 물리 AI 분야에서 개방성이 특히 중요하다고 설명했다. 현장에 AI를 들여놓는 일이 곧 '전용화(특정 용도에 맞게 고치는 일)' 문제이기 때문이다. 널리 쓰이는 범용 모델은 특정 기업이 쓰는 로봇이나 센서, 작업 환경을 본 적이 없다. 이 간극을 메우려면 모델의 가중치를 손에 넣을 수 있어야 하고, 이를 고쳐 쓰도록 허용하는 이용 약관과 추가 학습에 필요한 도구도 필요하다는 것이 회사 측 설명이다. 가중치란 AI 모델이 학습을 통해 얻은 내부 값으로, 모델의 실체에 해당한다.

엔비디아의 코스모스 월드 파운데이션 모델은 리눅스 재단이 만든 오픈MDW 1.1 이용약관에 따라 배포된다. 이에 따라 각 기업은 자체 데이터와 자체 장비로 모델을 추가 학습시킬 수 있다.

물리 AI에 필요한 데이터를 모으는 일은 어렵고 비용도 많이 든다. 특히 좀처럼 일어나지 않는 사고나 예외적인 상황은 안전하게, 그리고 반복해서 재현하기가 쉽지 않다. 엔비디아는 월드 모델이 이런 문제를 풀어 준다고 설명했다. 대규모 데이터에서 물리적 관계를 익혀 쓸모 있는 학습 데이터를 만들어 내고, 날씨와 조명, 사물, 이동 경로를 바꿔 가며 다양한 환경을 꾸며 볼 수 있다는 것이다.

엔비디아가 내놓은 코스모스 3(Cosmos 3)는 이런 기능을 한데 모은 개방형 모델 계열이다. 이 모델은 '전문가 혼합 트랜스포머(mixture-of-transformers)' 구조를 바탕으로, 화면을 보고 판단하는 시각 추론과 가상 세계 생성, 다음 행동 예측을 한꺼번에 처리한다. 여러 기능마다 서로 다른 모델을 따로 만들고 관리할 필요 없이, 하나의 모델 계열로 장면을 이해하고 합성 데이터를 만들며 미래 상태를 모의실험할 수 있다는 것이 회사 측 설명이다. 합성 데이터란 실제로 수집한 것이 아니라 컴퓨터로 만들어 낸 학습용 데이터를 말한다.

개발자는 코스모스 3을 이미지와 글을 함께 이해하는 시각언어모델로 쓰거나, 물리 법칙에 기반해 앞으로의 상황을 내다보는 세계 모의실험 도구로 쓸 수 있다. 로봇의 행동을 결정하는 '월드 액션 모델'의 뼈대로 삼는 것도 가능하다.

코스모스 3은 크기가 다른 세 가지로 나뉜다. 매개변수 640억 개 규모의 '코스모스 3 슈퍼'는 정교한 세계 모델링을 맡고, 160억 개 규모의 '나노'는 효율적인 추론과 추가 학습에 쓰인다. 40억 개 규모의 '엣지'는 기기에서 직접 돌리는 시각 추론과 로봇 제어에 쓰인다. 매개변수란 모델이 학습으로 얻는 내부 값으로, 수가 많을수록 대체로 성능이 높지만 그만큼 많은 계산 자원이 든다.

엣지 모델은 크기가 작아 엔비디아 RTX 계열 그래픽처리장치(GPU)와 DGX 시스템, 젯슨 토르(Jetson Thor)를 포함한 젯슨 계열 장치에서도 구동된다. 젯슨은 로봇이나 소형 기기에 넣어 쓰는 소형 AI 컴퓨터다.

성능과 관련해 엔비디아는 코스모스 3이 여러 평가에서 1위에 올랐다고 밝혔다. 개방형 가중치 모델을 대상으로 한 아티피셜 애널리시스의 글→이미지, 이미지→영상 생성 부문과 세계 생성 능력을 재는 PAI-벤치, 물리 법칙 이해를 평가하는 피직스-IQ의 이미지→영상 부문이 여기에 해당한다. 로봇 제어 정책을 평가하는 로보랩에서도 1위를 기록했으며, 코스모스 3 슈퍼는 시각 이해를 평가하는 밴티지-벤치에서 개방형 모델 가운데 가장 높은 순위에 올랐다고 회사는 설명했다.

엔비디아에 따르면 여러 분야의 기업이 코스모스를 바탕으로 물리 AI 응용 서비스를 만들고 있다. 로봇 분야에서는 두산로보틱스와 LG전자, 삼성전자, 스킬드 AI가 이름을 올렸다. 자율주행 분야에서는 리오토와 샤오미, 아파리가 참여하고 있으며, 산업용 AI와 스마트 공간에 쓰이는 영상 인식 AI 분야에서는 센티픽과 포그스피어, 링커비전, 마일스톤 시스템즈, 위안 등이 이를 활용하고 있다.

엔비디아는 월드 모델을 만드는 기업과 AI 개발자, 물리 AI 분야 기업을 한데 모으는 '엔비디아 코스모스 연합'도 운영하고 있다. 이 협의체는 모델과 연구 성과, 평가 방법을 함께 내놓는 것을 목표로 한다. 엔비디아는 최근 이 연합을 일본으로 넓혔으며, 일본의 로봇·제조 분야 주요 기업들이 참여해 공장과 물류, 농업, 건설, 의료, 교통 분야에 쓰일 개방형 월드 모델을 개발할 계획이라고 밝혔다.

모델을 고쳐 쓰는 것만으로 작업이 끝나는 것은 아니다. 데이터를 만들고 모의실험을 돌리며 실제 동작을 시험해 볼 가상 환경도 있어야 한다. 엔비디아 에이전트 툴킷에 포함된 옴니버스(Omniverse) 라이브러리는 이런 환경을 만드는 기능을 미리 갖춰 제공한다. 여기에 3차원 데이터를 주고받는 개방형 규격인 오픈USD(OpenUSD)를 더하면, 디지털 트윈과 모의실험, 합성 데이터 생성 작업에서 복잡한 3차원 자료를 함께 쓰고 다시 활용할 수 있다. 디지털 트윈이란 현실의 공간이나 설비를 컴퓨터 속에 똑같이 옮겨 놓고 상황을 미리 실험해 보는 기술을 말한다. 엔비디아는 이런 방식이 자산이나 센서 구성, 환경 조건이 바뀔 때마다 되풀이되던 중복 작업을 줄여 준다고 설명했다.

코스모스 외에 엔비디아의 물리 AI 관련 제품군에는 로봇용 아이작 그루트(Isaac GR00T)와 자율주행용 알파마요(Alpamayo), 영상 인식용 메트로폴리스(Metropolis)가 있다. 코스모스 3 모델과 데이터셋은 AI 모델 공유 사이트 허깅페이스와 코드 공유 공간 깃허브에서 내려받을 수 있으며, 구조와 평가 내용을 담은 기술 보고서도 함께 공개됐다.