뇌 영상으로 본 이미지 재구성하는 'Brain-IT' 기술 개발...40분의 1 데이터로 동등한 성능 구현

[한국정보기술신문] 새로운 뇌-컴퓨터 인터페이스 기술인 'Brain-IT'이 기능적 자기공명영상(fMRI) 데이터로부터 피험자가 본 이미지를 정확하게 재구성하는 데 성공했다. 이 기술은 기존 방법보다 훨씬 적은 데이터로도 높은 성능을 보이며, 뇌과학과 인공지능 분야에 새로운 가능성을 제시하고 있다.

연구팀이 개발한 Brain-IT(Brain Interaction Transformer)는 뇌 복셀(voxel) 클러스터 간의 효과적인 상호작용을 통해 이미지 재구성의 정확도를 크게 향상시켰다. 이 시스템은 기능적으로 유사한 뇌 복셀들을 클러스터로 묶어 처리하며, 이러한 기능적 클러스터는 모든 피험자에게 공유되어 뇌 내부 및 뇌 간 정보 통합의 기반이 된다.

Brain-IT의 핵심은 두 가지 보완적인 이미지 특징을 예측하는 방식에 있다. 먼저 고수준 의미론적 특징을 통해 확산 모델이 이미지의 올바른 의미적 콘텐츠를 향하도록 유도한다. 동시에 저수준 구조적 특징을 예측하여 확산 프로세스를 이미지의 올바른 거친 레이아웃으로 초기화하는 데 도움을 준다.

이 시스템은 뇌 복셀 클러스터에서 국소화된 이미지 특징으로 정보가 직접 흐를 수 있도록 설계되었다. Brain Tokenizer가 fMRI 활성화를 Brain Token으로 변환하고, Cross-Transformer Module이 이 토큰들로부터 정보를 통합하여 최종 이미지 특징을 생성한다.

이 기술의 가장 주목할 만한 성과는 데이터 효율성이다. 새로운 피험자의 경우 단 1시간의 fMRI 데이터만으로도 기존 방법들이 전체 40시간 기록을 사용해 얻은 결과와 비슷한 수준의 이미지 재구성을 달성했다. 심지어 15분의 fMRI 기록만으로도 의미 있는 재구성이 가능한 것으로 나타났다.

연구팀은 NSD(Natural Scenes Dataset) 데이터셋의 피험자 1, 2, 5, 7을 대상으로 한 실험에서 8개 평가 지표 중 7개에서 모든 기존 방법들을 능가하는 성능을 보였다고 밝혔다. Brain-IT는 의미적 충실도와 구조적 정확성 모두에서 우수한 결과를 나타냈다.

이 연구는 사람들이 본 이미지를 fMRI 뇌 기록으로부터 재구성함으로써 인간 뇌에 대한 비침습적 관찰 창을 제공한다. 확산 모델의 발전으로 최근 진전이 있었지만, 기존 방법들은 실제로 본 이미지에 대한 충실도가 부족한 경우가 많았다. Brain-IT는 이러한 문제를 뇌에서 영감을 받은 접근 방식으로 해결했다.

모든 모델 구성 요소가 모든 클러스터와 피험자에 의해 공유되므로 제한된 양의 데이터로도 효율적인 훈련이 가능하다. 이는 뇌-컴퓨터 인터페이스 기술의 실용화 가능성을 높이는 중요한 진전으로 평가받고 있다.