0.2B 경량 이미지 보정 AI '뫼비우스' 나왔다...덩치 2%로 100억 모델 따라잡았다...화중과기대·비보 AI랩 연구진, 매개변수 2% 미만에 15배 빠른 속도로 자연·인물 6개 시험서 대등하거나 앞서

[한국정보기술신문] 중국 화중과기대학(화중과학기술대)과 스마트폰 제조사 비보(vivo)의 AI 연구조직 '비보 AI랩' 연구진이 크기를 크게 줄인 이미지 보정 인공지능(AI) 모델 '뫼비우스(Moebius)'를 공개했다. 연구진은 이 모델이 매개변수가 2억2000만 개(0.22B)에 불과한데도, 매개변수가 119억 개(11.9B)에 이르는 거대 모델과 견줄 만한 품질을 내면서 처리 속도는 15배 이상 빠르다고 밝혔다. 매개변수는 AI가 학습으로 익히는 값으로, 사람으로 치면 지식이나 경험에 해당하며 보통 그 수가 많을수록 더 복잡한 일을 처리할 수 있는 것으로 여겨진다.

뫼비우스가 다루는 '이미지 인페인팅(image inpainting)'은 사진에서 일부를 지우거나 가린 뒤 그 빈자리를 주변과 자연스럽게 이어지도록 AI가 채워 넣는 기술을 말한다. 사진 속 원치 않는 사람이나 물체를 지우고 그 자리를 배경으로 메우는 'AI 객체 제거'가 대표적인 쓰임새다. 최근에는 매개변수가 100억 개 안팎에 이르는 대형 모델들이 이 분야의 품질을 끌어올렸지만, 그만큼 막대한 연산 능력과 비용이 들어 일반 기기에서 쓰기 어렵다는 점이 문제로 지적돼 왔다.

연구진이 던진 물음은 "할 일이 분명하게 정해져 있다면, 모델을 더 작고 빠르면서도 똑똑하게 만들 수 있는가"였다. 이것저것 다 하는 거대한 만능 모델 대신, 이미지 보정이라는 한 가지 일에 특화한 '전문가' 모델을 잘 만들면 크기를 크게 줄일 수 있다는 발상이다. 다만 모델을 무리하게 압축하면 표현력이 떨어지는 '병목'이 생기는데, 뫼비우스는 이 한계를 두 가지 핵심 기술로 풀었다고 연구진은 설명했다.

이미지 보정 기술의 바탕에는 '확산 모델(diffusion model)'이 있다. 확산 모델은 흐릿한 잡음에서 출발해 조금씩 형태를 다듬어 가며 그림을 완성하는 방식의 AI로, 최근 이미지 생성 분야에서 널리 쓰인다. 뫼비우스는 이 확산 모델의 핵심 구조를 새로 설계해 군더더기를 덜어 냈다.

첫 번째 기술은 'LλMI(로컬 람다 믹스 인터랙션) 블록'이라는 새로운 계산 단위다. 기존 모델은 이미지의 각 부분이 서로 얼마나 관련 있는지를 따지는 '어텐션(attention)'이라는 방식을 쓰는데, 이 방식은 이미지가 커질수록 계산량이 제곱으로 불어나 연산 부담이 크다. 어텐션은 AI가 그림이나 글에서 어디에 더 주목할지를 가늠하는 기법을 말한다.

연구진은 이 어텐션 계산을 일정한 크기의 표(선형 행렬)에 압축해 담는 방식으로 바꿨다. 주변의 공간적 맥락과 전체적인 의미 정보를 고정된 크기의 표로 정리해 두면, 이미지가 커져도 계산량이 급격히 늘지 않는다는 것이다. 연구진은 이를 통해 복잡한 상호작용은 유지하면서도 매개변수를 크게 줄였다고 밝혔다.

두 번째 기술은 큰 모델이 가진 능력을 작은 모델에 옮겨 담는 '지식 증류(distillation)'다. 지식 증류는 잘하는 '선생님(교사) 모델'의 판단을 '학생 모델'이 따라 배우도록 해, 작은 모델이 큰 모델 수준의 실력을 갖추게 하는 방법이다. 뫼비우스는 같은 연구진이 앞서 만든 '픽셀해커(PixelHacker)'를 교사 모델로 삼았다.

특히 이 학습을 '잠재 공간(latent space)' 안에서만 진행한 점이 특징이다. 잠재 공간은 AI가 이미지를 사람이 보는 픽셀 그림이 아니라 압축된 숫자 형태로 다루는 내부 공간을 말한다. 매번 픽셀 그림으로 되돌려 비교하면 계산 비용이 크게 드는데, 잠재 공간 안에서만 견주면 이 비용을 아낄 수 있다. 연구진은 세밀한 중간 특징부터 전체적인 처리 흐름까지 여러 수준에서 교사 모델을 본받도록 하고, 여러 학습 목표 사이의 균형을 자동으로 맞추는 방식을 더해 작은 모델이 교사의 능력을 최대한 흡수하도록 했다고 설명했다.

연구진은 두 기술을 단순히 합치는 데 그치지 않고, 둘 사이의 균형점을 찾는 데 공을 들였다고 밝혔다. 모델 구조를 너무 많이 압축하면 아무리 큰 교사 모델의 지식을 부어 넣어도 학생 모델이 더 이상 받아들이지 못하는 '포화' 상태에 이르고, 반대로 압축을 덜 하면 경량화의 이점이 사라진다. 즉 구조를 얼마나 줄이느냐와 지식을 얼마나 옮겨 담느냐가 서로 맞물려 한쪽을 밀어붙이면 다른 쪽이 한계에 부딪히는 관계라는 것이다. 연구진은 이 둘이 서로 제약하는 지점과 끌어올릴 수 있는 한계를 체계적으로 살펴, 0.22B 규모의 작은 모델이 교사 모델의 판단 능력을 최대한 빨아들이도록 하는 균형점을 찾았다고 설명했다. 거대 모델을 무작정 키우기보다, 할 일을 분명히 정한 '특화 전문가' 모델로 방향을 튼 것이 핵심이라는 취지다.

연구진이 제시한 성능 수치를 보면, 뫼비우스는 매개변수가 2억2000만 개로 비교 대상인 'FLUX.1-Fill-Dev'(119억 개)의 2% 미만이다. 그런데도 자연 풍경 사진(Places2)과 인물 사진(CelebA-HQ·FFHQ) 등 6개 시험 항목에서 100억 개 안팎의 최신 대형 모델들과 대등하거나, 복잡한 질감이나 얼굴의 자연스러움 같은 일부 항목에서는 오히려 앞섰다고 연구진은 밝혔다. 비교 대상으로는 FLUX.1-Fill-Dev와 'SD3.5 라지-인페인팅' 등이 쓰였다.

속도 면에서는 그래픽처리장치(GPU) 한 대에서 한 단계 처리에 약 26밀리초(0.026초)가 걸려, 전체 처리 시간이 100억급 모델보다 15배 이상 빨랐다고 연구진은 덧붙였다. 비교 대상인 FLUX.1-Fill-Dev 같은 모델은 여러 작업을 두루 처리하는 산업용 대형 기반 모델로, 품질은 뛰어나지만 덩치가 커 실제 서비스에 올리는 데 비용 부담이 크다는 점이 한계로 꼽혀 왔다. 뫼비우스는 이런 만능형 대형 모델과 견줄 성능을 훨씬 가벼운 몸집으로 냈다는 데 의미가 있다는 것이 연구진의 설명이다.

연구진은 이런 효율 덕분에 고품질 이미지 보정을 값비싼 서버가 아니라 일반 소비자 기기나 스마트폰 같은 '엣지(edge·말단) 기기'에서도 쓸 수 있는 길이 열린다고 의미를 부여했다. 스마트폰 제조사인 비보가 연구에 참여한 점도 이런 활용 방향과 맞닿아 있는 것으로 풀이된다.

다만 이번에 공개된 내용은 학술 논문(아카이브 사전공개) 단계의 결과로, 성능 수치는 연구진이 자체적으로 측정해 보고한 값이다. 제3자의 독립적인 검증을 거친 것은 아닌 만큼, 실제 다양한 환경에서의 품질과 안정성, 상용 서비스나 기기 탑재로 이어질지는 앞으로의 검증과 적용 과정을 지켜봐야 가늠할 수 있을 전망이다. 연구진은 논문과 함께 코드를 공개했다고 밝혔다.