미니맥스, 영상 생성 AI 'H3' 오픈 웨이트로 공개...음향까지 한 번에 만드는 '옴니모달' 모델...텍스트·이미지·영상·음성 넣으면 스테레오 소리 담긴 2K 영상 생성, 컴피유아이서 출시 첫날 지원

[한국정보기술신문] 중국의 인공지능(AI) 기업 미니맥스(MiniMax)가 글이나 이미지, 영상, 소리를 넣으면 소리까지 담긴 영상을 만들어 주는 새 AI 모델 'H3'를 누구나 내려받아 쓸 수 있는 형태로 공개했다. AI 영상 제작 도구를 만드는 컴피 오그(Comfy Org)는 지난 8월 3일(현지시간) 자사 블로그를 통해 이 모델이 공개와 동시에 자사 영상 제작 프로그램 '컴피유아이(ComfyUI)'에서 곧바로 지원된다고 밝혔다. 이른바 '출시 첫날(데이 제로)' 지원이다. 오픈 웨이트란 AI 모델의 내부 값인 '가중치'를 외부에 공개해, 다른 기업이나 개인이 직접 내려받아 쓰거나 고칠 수 있게 한 것을 말한다.

미니맥스에 따르면 H3는 글(텍스트)만으로, 또는 이미지·영상·소리를 함께 넣어 최대 2K 화질에 길이 15초까지의 영상을 만든다. 여기서 2K란 가로로 약 2천 개의 화소가 늘어선 비교적 높은 화질을 가리킨다. H3는 미니맥스가 앞서 선보인 '하이루오(Hailuo) 01'과 '하이루오 02'에 이은 3세대 영상 모델이며, 회사가 가중치를 공개한 형태로 내놓은 것은 이번이 처음이다.

미니맥스가 가장 앞세운 특징은 여러 형태의 입력을 한꺼번에 이해하는 능력이다. 회사는 이 기능이 그동안 따로 처리하던 다섯 가지 작업을 하나의 모델로 묶어 준다고 설명했다. 실제 작업은 대체로 한 가지 형태의 자료만으로 이뤄지지 않는데, H3는 이미지와 소리, 영상을 함께 받아들이고 이들이 서로 어떤 관계인지 설명한 지시문에 맞춰 결과를 만들어 낸다. 이렇게 여러 형태의 자료를 두루 다루는 방식을 '옴니모달(omni-modal)', 곧 전방위 방식이라고 부른다. 이용자가 넣은 자료들과 원하는 장면의 관계를 글로 풀어 주면, 형태가 서로 다른 자료를 이어 붙이는 작업을 모델이 알아서 처리한다는 것이다.

H3가 지원하는 세부 기능은 크게 네 가지다. 글만 넣어 영상을 만드는 '텍스트-투-비디오', 이미지 한 장에 움직임을 입히는 '이미지-투-비디오', 첫 장면과 끝 장면을 정해 두면 그 사이를 모델이 채우는 '첫·끝 프레임' 방식, 그리고 참고용 이미지나 영상·소리를 넣어 특정 인물이나 동작·목소리를 영상 내내 이어 가는 '레퍼런스-투-비디오'가 그것이다. 프레임이란 영상을 이루는 한 장 한 장의 정지 화면을 말한다.

H3의 또 다른 특징은 영상과 소리를 한 번에 만든다는 점이다. 대체로 AI 영상 도구는 화면을 먼저 만든 뒤 소리를 따로 붙이지만, H3는 영상을 만드는 같은 과정에서 소리를 함께 생성한다. 게다가 이 소리는 좌우 방향감이 있는 '스테레오'로 나온다. 스테레오란 소리를 왼쪽과 오른쪽 두 갈래로 나눠 들려줘 방향과 공간감을 느끼게 하는 방식을 말한다. 미니맥스는 소리가 나중에 덧붙이는 요소가 아니라 모델이 본래 갖춘 성질이라고 강조했다.

영상 편집과 '움직임 옮기기(모션 트랜스퍼)' 기능도 담겼다. 참고용 영상에서 카메라의 움직임이나 연기, 장면을 끊고 잇는 리듬 같은 '움직임'만 빌려 오고, 등장인물과 화면의 분위기는 다른 자료에서 가져오는 방식이다. 여기에 이미 만든 영상의 일부를 그 자리에서 고치는 기능을 더하면, 한 장면을 조금씩 바꿔 가며 다듬는 작업이 가능해진다고 컴피 오그는 설명했다.

컴피 오그가 함께 공개한 예시들은 이런 기능이 실제로 어떻게 쓰이는지를 보여 준다. 만화책 느낌의 굵은 잉크 선으로 그려진 밤 도시의 어린 영웅과 거대 괴물이 등장하는 장면, 검은 배경에서 파랑·주황 조명을 받으며 회전하는 투명 게임용 마우스 광고, 폭포 앞에서 무지개색 음료수 캔을 든 인물이 나오는 어안렌즈 광고 등이다. 각 예시에는 대사에 맞춰 화면에 글자가 한 단어씩 찍히거나, 북소리와 전자음이 어우러진 배경 음악이 깔리는 등 화면과 소리가 함께 지정된 지시문이 붙어 있다. 참고용 이미지 여러 장을 '사진 1', '사진 2'처럼 번호로 가리켜 특정 인물이나 사물을 장면에 끌어오는 방식도 함께 소개됐다.

이번 발표에서 컴피 오그가 특히 공들인 대목은 이 모델을 일반 소비자용 컴퓨터에서도 원활히 돌아가게 만든 것이다. 회사는 모델을 이루는 값 가운데 약 40%를 차지하는 '모듈레이션 가중치'를 덜어 내고, 같은 기능을 하는 간단한 '참조표(룩업 테이블)'로 대체할 수 있다는 점을 찾아냈다고 밝혔다. 이를 통해 모델이 차지하는 메모리 용량을 큰 폭으로 줄이면서도 결과물의 품질은 떨어뜨리지 않았다는 설명이다.

여기에 데이터를 더 적은 자릿수로 간추려 저장하는 '양자화(int8)' 기법과, 계산에 쓰이는 그래픽처리장치(GPU)의 메모리 사용을 줄이는 맞춤형 처리 방식을 더했다. 양자화란 값을 정밀하게 표현하는 대신 자릿수를 줄여 용량과 계산 부담을 낮추는 방법을 말한다. 그 결과 모델이 쓰는 전체 메모리는 가장 작은 형태를 기준으로 원래의 123.6기가바이트(GB)에서 42.5GB로 66% 줄었다. GB(기가바이트)는 데이터의 양을 재는 단위다.

컴피 오그는 이렇게 줄인 용량에 필요할 때만 메모리를 나눠 쓰는 기술을 더하면, 2K급 영상 생성 모델을 엔비디아 지포스 RTX 3060 같은 보급형 그래픽카드에서도 구동할 수 있다고 밝혔다. RTX 3060은 고성능 전문가용이 아닌, 일반 이용자가 흔히 쓰는 중급 그래픽카드다. 통상 이 정도 영상 모델은 값비싼 전문가용 장비를 여러 대 갖춰야 돌릴 수 있었던 만큼, 개인 창작자도 자기 컴퓨터에서 직접 써 볼 여지가 넓어진 셈이다.

H3를 쓰려면 먼저 컴피유아이를 최신판인 0.30.0으로 갱신해야 한다. 이후 컴피 오그가 제공하는 작업 흐름 파일(워크플로)을 내려받거나 프로그램 안의 서식 창고에서 찾아 불러온 뒤, 안내에 따라 모델 파일을 받아 지정된 폴더에 넣으면 된다. 모델 가중치는 AI 모델 공유 사이트 허깅페이스(Hugging Face)에서 무료로 내려받을 수 있다.

모델을 오픈 웨이트로 공개하고 이를 다시 개인용 컴퓨터에서 돌아가도록 다듬었다는 점은, 그동안 대형 서버에서만 쓸 수 있던 고성능 영상 생성 기술이 개인 이용자에게까지 내려온다는 의미가 있다. 가중치가 공개되면 이용자가 회사의 서버를 거치지 않고 자기 기기에서 모델을 직접 구동할 수 있어, 사용 비용을 줄이고 결과물을 외부에 보내지 않아도 된다는 장점이 있다. 반면 성능이 뛰어난 영상·음향 생성 도구가 누구나 손쉽게 쓸 수 있는 형태로 퍼지면, 실제와 구분하기 어려운 가짜 영상이 악용될 소지도 함께 커진다는 우려가 그동안 이 분야에서 제기돼 왔다.