메타, AI로 텍스트를 3D 세계로 변환하는 'WorldGen' 공개...5분 만에 인터랙티브 공간 생성

[한국정보기술신문] 메타 리얼리티 랩스가 텍스트 프롬프트 하나로 인터랙티브한 3D 가상 세계를 생성할 수 있는 차세대 생성형 AI 시스템 'WorldGen'을 공개했다. 이 시스템은 단 5분 만에 실제로 걸어 다니며 탐색할 수 있는 완전한 3D 환경을 제작할 수 있다는 점에서 주목받고 있다.

메타는 공식 블로그를 통해 "중세 마을이나 화성 기지와 같은 간단한 텍스트 설명만으로 수 분 내에 인터랙티브 3D 세계를 생성할 수 있다"며 "이 세계는 스타일과 테마가 일관적이며, 캐릭터가 막힘 없이 자유롭게 돌아다닐 수 있는 견고한 구조를 갖추고 있다"고 설명했다.

WorldGen은 절차적 추론, 확산 기반 3D 생성, 객체 인식 장면 분해 기술을 결합한 엔드투엔드 시스템이다. 기하학적으로 일관되고 시각적으로 풍부하며 렌더링 효율이 높은 3D 세계를 생성해 게임, 시뮬레이션, 몰입형 소셜 환경에 활용할 수 있다.

기존의 3D 콘텐츠 제작은 전문 아티스트 팀이 수 주일에 걸쳐 작업해야 하는 복잡하고 시간 소모적인 과정이었다. WorldGen은 이러한 병목 현상을 해소하고 3D 콘텐츠 제작을 민주화할 수 있는 잠재력을 보여주고 있다.

메타의 기술 보고서에 따르면 WorldGen은 전통적인 3D 월드 개발 워크플로우를 반영하는 모듈식 AI 파이프라인으로 구성되어 있다. 프로세스는 장면 계획 단계에서 시작된다. 대규모 언어 모델이 구조 엔지니어 역할을 하며 사용자의 텍스트 프롬프트를 분석해 논리적인 레이아웃을 생성한다. 주요 구조물과 지형 특징의 배치를 결정하고 물리적으로 타당한 장면을 보장하는 러프한 3D 스케치인 '블록아웃'을 생성한다.

이후 장면 재구성 단계에서 초기 지오메트리를 구축한다. WorldGen은 메쉬 기반 지오메트리 출력 방식을 채택해 물리, 충돌, 내비게이션을 기본적으로 지원한다. 이는 인터랙티브 소프트웨어에 필수적인 기능이다.

WorldGen의 주요 강점은 게임 엔진과의 호환성이다. Unity나 Unreal Engine과 같은 표준 플랫폼으로 에셋을 직접 내보낼 수 있어 전문 렌더링 하드웨어 없이도 기존 파이프라인에 생성형 워크플로우를 통합할 수 있다.

경쟁 기술인 World Labs의 Marble 시스템과 비교하면 차이가 명확하다. Marble은 가우시안 스플랫을 사용해 높은 사진 사실성을 달성하지만, 카메라가 중심에서 멀어지면 품질이 저하되는 문제가 있다. 시야점에서 불과 3~5미터만 벗어나도 충실도가 떨어진다는 것이다.

반면 WorldGen은 50x50미터 규모의 장면을 생성하면서도 전체적으로 기하학적 무결성을 유지한다. 시각적 콘텐츠 생성에 그치지 않고 기능적인 애플리케이션 개발을 위한 도구로 자리매김하고 있다.

메타는 WorldGen이 산업 전반에 걸쳐 상당한 시간과 비용 절감을 가져올 것으로 기대하고 있다. 3D 콘텐츠 제작이 복잡하고 시간이 많이 소요되며 많은 사람들에게는 접근이 어려운 분야였던 것을 고려하면, 이 기술은 민주화의 중요한 발걸음이 될 수 있다.

메타는 Connect 행사에서 공유한 비전을 WorldGen을 통해 구현하고 있다. 앞으로는 누구나 코드를 한 줄도 작성하지 않고도 완전한 가상 세계를 구축할 수 있는 미래를 목표로 하고 있다.

업계 전문가들은 생성형 3D 기술이 인간의 창의성을 완전히 대체하기보다는 구조적 레이아웃과 에셋 배치를 위한 역량 배가 도구로 가장 잘 작동할 것으로 보고 있다. 세계를 구축하는 기초 작업을 자동화함으로써 기업 팀은 비즈니스 가치를 창출하는 인터랙션과 로직에 예산을 집중할 수 있게 된다.

메타는 WorldGen이 다양하고 인터랙티브하며 탐색 가능한 세계 생성 연구를 진전시켰지만, 현재 모델에는 한계가 있다고 밝혔다. 향후 버전에서는 더 큰 공간을 생성하고 생성 지연 시간을 낮추는 데 주력할 계획이다.

소비자 게임, 산업용 디지털 트윈, 직원 교육 시뮬레이션 등 몰입형 공간 컴퓨팅 경험을 만드는 데 있어 주요 병목 현상이었던 3D 모델링의 노동 집약적 특성을 WorldGen이 해결할 수 있을지 주목된다.

메타는 이 기술이 연구 단계임을 강조하면서도, 기능적 인터랙티브성, 엔진 호환성, 편집 제어 등 생성형 AI가 전문 워크플로우에서 유용하게 활용되는 것을 방해했던 특정 문제점들을 WorldGen 아키텍처가 해결하고 있다고 설명했다.

현재 생성형 AI 기술로 짧은 영화 클립을 단일 텍스트나 이미지 프롬프트로 제작할 수 있는 시대가 도래했다. WorldGen은 여기서 한 걸음 더 나아가 실제로 걸어 다니며 탐색할 수 있는 완전한 인터랙티브 3D 세계를 만들어내는 획기적인 발전을 이뤘다는 평가를 받고 있다.