OpenAI, 영상·오디오 동시 생성 'Sora 2' 공개...물리법칙 구현에 실감나는 사운드까지

지난달 30일 공개된 차세대 영상 생성 모델, 텍스트로 최대 20초 영상과 동기화된 음향 생성

[한국정보기술신문] 오픈AI가 영상과 오디오를 동시에 생성하는 차세대 인공지능 모델 Sora 2를 9월 30일 공개했다. 기존 영상 생성 AI의 한계를 넘어 물리 법칙을 더욱 정확하게 구현하고, 영상에 맞춰 자동으로 음향 효과까지 생성하는 기능을 갖췄다.

오픈AI는 2024년 2월 처음 선보인 Sora를 영상 생성의 GPT-1 시점으로 규정하며, 이번 Sora 2를 GPT-3.5에 비유할 만한 전환점이라고 밝혔다. 실제로 농구공이 골대를 빗나가면 백보드에서 튕겨 나오고, 패들보드 위에서 백플립을 할 때 부력과 강성의 역학이 정확히 모델링되는 등 물리적 정확성이 크게 향상됐다.

영상과 사운드 동시 생성, 카메오 기능도 추가

Sora 2의 가장 큰 특징은 영상과 음향을 함께 생성한다는 점이다. 배경 음악, 효과음, 대화까지 영상 내용에 맞춰 자동으로 생성되며, 음향과 영상의 동기화 수준도 높다. 기존 영상 생성 모델은 영상만 만들고 음향은 별도로 추가해야 했던 것과 대조적이다.

새롭게 추가된 카메오 기능은 사용자가 자신의 얼굴과 목소리를 짧은 영상으로 등록하면, AI가 생성하는 영상 속에 자신을 삽입할 수 있는 기능이다. 오픈AI는 신원 확인 절차를 통해 본인 동의 없이 타인의 얼굴이 사용되는 것을 방지하는 안전장치를 마련했다고 밝혔다. 사용자는 누가 자신의 카메오를 사용할 수 있는지 권한을 설정하고, 언제든 접근을 취소하거나 영상을 삭제할 수 있다.

iOS 앱 출시, 초대 제도로 단계적 확대

오픈AI는 Sora 2와 함께 전용 소셜 앱 'Sora'도 선보였다. iOS용으로 먼저 출시된 이 앱은 미국과 캐나다에서 초대 제도를 통해 단계적으로 접근 권한을 부여하고 있다. 안드로이드 버전은 개발 중이다.

앱에서는 텍스트나 이미지로 영상을 생성하고, 다른 사용자의 작품을 리믹스하거나, 카메오 기능으로 영상에 본인을 등장시킬 수 있다. 오픈AI는 스크롤 중독과 알고리즘 최적화 우려를 고려해 피드 구성을 기존 소셜 미디어와 다르게 설계했다고 설명했다. 청소년 사용자에게는 비개인화 피드를 기본 제공하고, 스크롤 시간을 제한하며, 성인이 먼저 연락할 수 없도록 제한하는 등 안전장치를 마련했다.

워터마크와 메타데이터로 AI 생성물 표시

딥페이크와 허위정보 우려에 대응하기 위해 Sora 2로 생성된 모든 영상에는 눈에 보이는 워터마크와 C2PA 메타데이터가 포함된다. 이를 통해 영상이 AI로 생성됐음을 명확히 표시하고, 출처를 추적할 수 있도록 했다. 또한 유해 콘텐츠 차단을 위한 다층 필터링 시스템과 인간 검토자를 동원한 모니터링 체계도 운영한다.

다만 저작권 관련 논란도 제기되고 있다. 오픈AI는 저작권자가 명시적으로 거부하지 않으면 저작물이 Sora 생성 콘텐츠에 반영될 수 있다는 정책을 공개했다. 샘 올트먼 CEO는 "닌텐도가 소송하지 않기를 바란다"는 농담 섞인 발언을 했으며, 향후 저작권자에게 더 세밀한 제어권을 제공할 계획이라고 밝혔다.

API 공개 예정, 영상 생성 시장 경쟁 격화

오픈AI는 향후 Sora 2 API를 공개해 개발자와 기업이 자체 애플리케이션에 영상 생성 기능을 통합할 수 있도록 할 계획이다. ChatGPT Pro 구독자는 더 높은 해상도와 긴 영상을 생성할 수 있는 Sora 2 Pro 모델에 접근할 수 있다.

Sora 2의 등장으로 AI 영상 생성 시장의 경쟁은 더욱 치열해질 전망이다. 런웨이, 루마, 클링, 힉스필드 등 경쟁사들도 유사한 기능을 갖춘 모델을 출시하며 시장을 선점하려 하고 있다. 업계에서는 Sora 2가 영상 제작의 진입 장벽을 낮추고, 독립 영화 제작자나 마케터, 교육자들이 전문 장비 없이도 고품질 영상을 제작할 수 있게 될 것으로 전망하고 있다.

한국정보기술신문 인공지능분과 김성현 기자 news@kitpa.org