월드랩스, 멀티모달 3D 월드 생성 AI '마블' 공개...텍스트·이미지로 가상세계 제작

텍스트와 이미지만으로 완전한 3D 세계를 생성하는 차세대 AI 모델 등장, 게임·영화·로봇 등 다양한 산업 적용 가능

[한국정보기술신문] 미국 AI 스타트업 월드랩스가 11월 12일 차세대 멀티모달 월드 모델 마블을 전면 공개했다. 마블은 텍스트, 이미지, 비디오, 3D 레이아웃 등 다양한 입력 방식으로 완전한 3D 가상세계를 생성할 수 있는 최초의 생성형 AI 모델이다.

월드랩스는 공간 지능이 AI의 다음 개척지라며, 마블이 3D 세계를 재구성하고 생성하며 시뮬레이션할 수 있는 강력한 월드 모델이라고 설명했다. 마블은 지난 2개월간 베타 사용자들에게 먼저 공개됐으며, 이번에 일반 사용자 모두가 이용할 수 있게 됐다.

다양한 입력 방식으로 3D 세계 생성

마블의 가장 큰 특징은 멀티모달 입력 지원이다. 사용자는 간단한 텍스트 프롬프트나 단일 이미지만으로도 완전한 3D 세계를 생성할 수 있다. 또한 여러 장의 이미지를 다른 각도의 프롬프트로 사용해 더욱 정밀하게 세계를 제어할 수 있다.

멀티 이미지 프롬프트 기능은 사용자가 원하는 이미지 생성 도구로 각 시점을 별도로 반복 작업한 뒤, 마블이 이를 완전한 3D 세계로 변환하면서 입력 시점 간의 매끄러운 전환을 추가하는 방식이다. 실제 공간의 사진이나 짧은 비디오를 입력하면 실제 장소의 요소를 포함한 3D 세계를 생성할 수도 있다.

AI 기반 월드 편집과 3D 조각 도구

마블은 생성된 세계를 반복적으로 편집할 수 있는 AI 네이티브 도구를 제공한다. 객체 제거나 영역 수정 같은 작은 변경부터 객체 교체, 시각적 스타일 변경, 대규모 구조 재편성까지 다양한 수준의 편집이 가능하다.

고급 사용자를 위해서는 치즐이라는 실험적 3D 조각 도구도 제공된다. 치즐을 사용하면 박스나 평면 같은 기본 3D 도형으로 세계의 거친 구조를 배치하거나 기존 3D 자산을 가져와 장면에 배치할 수 있다. 이후 텍스트 프롬프트로 시각적 스타일을 설명하면, 마블이 이를 결합해 완전히 세밀한 3D 세계를 생성한다.

세계 확장과 다양한 내보내기 형식

마블은 생성된 세계를 원스텝으로 확장하는 기능도 제공한다. 사용자가 확장할 영역을 선택하면 마블이 해당 영역을 채울 콘텐츠를 생성한다. 또한 여러 세계를 조합해 극도로 큰 공간을 구축할 수 있는 컴포저 모드도 지원한다.

생성된 세계는 가우시안 스플랫, 삼각형 메시, 비디오 등 다양한 형식으로 내보낼 수 있다. 가우시안 스플랫은 가장 고품질 표현 방식이며, 월드랩스의 오픈소스 렌더러 스파크를 통해 브라우저에서 렌더링할 수 있다. 메시 형식은 많은 산업 표준 도구와 상호 운용이 가능하다.

월드랩스는 마블과 함께 마블 랩스도 출시했다. 마블 랩스는 아티스트, 엔지니어, 디자이너들이 월드 모델의 경계를 확장하는 창작 허브다. 게임, 영화 시각효과, 디자인, 로봇공학 등 다양한 분야의 사례 연구, 튜토리얼, 문서를 제공한다.

월드랩스는 마블이 공간 지능을 향한 여정의 한 단계이며, 향후 생성된 세계와 인간 및 에이전트가 새로운 방식으로 상호작용할 수 있는 기능을 추가해 시뮬레이션, 로봇공학 등의 활용 사례를 더욱 확장할 계획이라고 밝혔다. 마블은 marble.worldlabs.ai에서 이용할 수 있다.

한국정보기술신문 인공지능분과 박정후 기자 news@kitpa.org