고색고 최우석, 딥페이크 탐지 AI '99% 정확도'의 속뜻 파고들어 청소년 IT학술대회 대상...영상·음성 함께 쓴 모델이 영상만 쓴 모델보다 낫다는 증거 못 찾아, 높은 점수와 실제 관계 학습은 별개임을 통계로 확인

[한국정보기술신문] 고색고등학교 최우석 학생이 2026 하계 청소년 IT학술대회 디지털콘텐츠응용 트랙에서 대상을 받았다. 수상 논문의 제목은 '시청각 딥페이크 탐지에서 모달리티 기여와 관계 민감도 분석'이다. 딥페이크를 잡아내는 인공지능(AI)이 99%에 가까운 정확도를 보인다고 해도, 그 높은 점수가 실제로 무엇을 뜻하는지를 되물은 연구다.

딥페이크는 AI로 얼굴이나 음성을 진짜처럼 조작한 영상을 말한다. 최근에는 얼굴만 바꾸는 데서 나아가 음성과 말하는 내용, 입 모양까지 함께 조작하는 방향으로 발전하고 있다. 모달리티는 영상이나 음성처럼 정보의 종류를 뜻하는 말로, 둘을 함께 쓰는 방식을 시청각 또는 멀티모달이라고 한다.

최우석 학생이 연구를 시작한 계기는 높은 성능에 대한 의문이었다. 시청각 정보를 함께 쓰는 탐지 모델들이 99%에 가까운 성능을 보고하는 사례를 접했지만, 그 성능만으로 모델이 정말 입 모양과 음성의 관계를 이해했다고 단정할 수 있는지 의심했다. "조작 영상에만 특정한 화질이나 압축 흔적이 있다면, AI는 얼굴과 음성의 관계를 보지 않고도 그 흔적만으로 정답을 맞힐 수 있다"고 설명했다.

이런 문제가 생기는 이유로 같은 원본에서 만들어진 영상이 학습용과 시험용에 함께 섞이거나, 진짜 영상과 조작 영상의 처리 방식이 다른 경우를 들었다. 그러면 모델이 딥페이크의 본질보다 더 쉬운 단서를 이용할 수 있다는 것이다. 그래서 높은 분류 성능과 실제 시청각 관계 학습을 어떻게 구분할 수 있는지를 연구 주제로 삼았다.

최우석 학생은 새 모델을 내놓기보다 기존 모델의 높은 성능이 무엇을 뜻하는지 검증하는 데 초점을 맞췄다. 공개 데이터에서 진짜 영상과 조작 영상을 각각 1500개씩 뽑되, 같은 원본에서 나온 영상들이 학습·검증·시험 묶음을 넘나들지 않도록 원본 계보 단위로 나눴다. 실제로 세 묶음 사이의 원본 중복은 0건이었다.

이어 영상만 보는 모델, 음성만 듣는 모델, 두 정보를 단순히 합치는 모델, 두 정보의 차이와 비슷한 정도를 계산하는 모델을 같은 조건에서 비교했다. 네 모델은 같은 학습 자료와 조건에서 훈련됐고, 정확도와 F1 점수, ROC-AUC 등 여러 지표로 성능을 쟀다. 특히 평균 점수만 견주지 않았다. 무작위 초기값을 세 가지로 바꿔 실험을 반복하고, 여러 통계 검정을 써서 작은 성능 차이가 우연이 아니라 일관되게 나타나는지 확인했다. 여기에 음성을 다른 영상의 음성으로 바꾸거나 시간 위치를 앞뒤로 옮겨, 모델의 판단이 실제로 얼마나 달라지는지도 살폈다.

이렇게 성능을 여러 각도로 검증한 것이 이 연구의 차별점이라고 했다. 무작위 초기값에 따라 결과가 흔들리지 않는지, 통계적으로 얼마나 확실한지를 함께 확인해야 작은 점수 차이를 모델의 우열로 섣불리 해석하지 않을 수 있다는 것이다.

가장 예상 밖의 결과는 영상만 보는 모델에서 나왔다. 이 모델은 음성을 입력받지 않는데도, 음성만 조작된 영상에서 ROC-AUC 0.9993이라는 매우 높은 점수를 기록했다. ROC-AUC는 진짜와 가짜를 얼마나 잘 가려내는지를 0에서 1 사이로 나타내는 지표로, 1에 가까울수록 잘 맞힌다는 뜻이다. 최우석 학생은 "이 모델은 음성 조작 자체를 직접 탐지할 수 없다"며 "조작 영상을 만드는 과정에서 영상의 재처리나 인코딩과 관련된 다른 단서가 생겼을 가능성을 생각하게 됐다"고 말했다.

사실 이 대목은 연구에서 가장 어려웠던 순간이기도 했다. 거의 모든 모델의 성능이 0.999 부근까지 치솟자, 처음에는 시청각 정보를 함께 써서 성능이 좋아진 것으로 볼 수 있었지만 영상만 쓰는 모델마저 비슷한 점수를 냈기 때문이다. 성능이 높다는 사실만으로는 모델이 시청각 관계를 잘 학습했다고 결론 내릴 수 없다고 판단했고, 평균 대신 초기값별 결과를 따로 비교하며 원인을 파고들었다.

두 정보를 단순히 합친 모델이 가장 높은 평균 성능을 낸 반면, 더 복잡한 관계 계산을 넣은 모델은 이를 넘어서지 못했다. 두 정보를 함께 쓴 모델과 영상만 쓴 모델의 성능 차이는 초기값을 바꾸자 방향이 엇갈리기도 했다. 최우석 학생은 통계 검정에서 둘 사이에 뚜렷한 우열의 근거가 확인되지 않았다고 밝혔다. 또 음성을 다른 원본의 것으로 크게 바꿨을 때는 성능이 떨어졌지만, 시간을 0.5초나 1초 옮기는 미세한 변화에는 거의 반응하지 않았다. "모델이 큰 음성 교체에는 반응했지만 미세한 시간적 관계에는 거의 반응하지 않은 것"이라고 설명했다.

최우석 학생이 내린 결론은 높은 멀티모달 성능만으로는 탄탄한 시청각 관계 학습을 입증할 수 없으며, 데이터 편향 단서와 관계 민감도를 따로 검사해야 한다는 것이다. 이 결과가 실제 딥페이크 탐지 시스템을 평가할 때 정확도 하나만 보고 도입을 결정하지 않도록 하는 절차에 쓰일 수 있다고 봤다. 같은 원본이나 같은 인물이 학습·시험 자료에 겹치지 않았는지 확인하고, 음성 교체나 시간 이동 같은 통제 실험으로 모델이 실제로 반응하는지 살펴야 한다는 것이다.

현장에서는 영상 중심 모델을 1차 판별기로, 시청각 관계 모델을 2차 검증기로 두고 두 판단이 충돌하는 영상을 추가 검토 대상으로 지정하는 방식을 제안했다. 자동으로 확정하지 않고 사람이 한 번 더 살피게 하자는 것이다. 다만 이 2단계 방식의 실제 효과는 이번 연구에서 직접 평가하지 않아 후속 검증이 필요한 방향이라고 선을 그었다.

처음 논문을 쓰는 이들을 향해서는 높은 점수가 나오면 연구가 성공했다고 여기는 것을 흔한 실수로 꼽았다. "데이터에 중복이나 편향이 있으면 모델은 연구자가 의도한 특징보다 더 쉬운 단서를 학습할 수 있다"며, 모델을 복잡하게 만들기보다 먼저 같은 원본이나 인물이 섞였는지 확인하라고 조언했다. 예상과 다른 결과나 한계를 감추지 말라는 당부도 덧붙였다. 자신도 처음 세운 가설을 유지하는 대신 연구 질문을 "어떤 모델이 가장 높은가"에서 "높은 성능은 실제로 무엇을 의미하는가"로 바꿨다고 했다.

앞으로는 서로 다른 원본에 같은 화자가 등장하는 경우까지 차단한 자료를 만들고, 다른 데이터셋과 실제 유통 영상으로 교차 평가를 해 보고 싶다고 밝혔다. 나아가 입 영역을 시간에 따라 추적해 음소와 입 모양의 대응을 직접 분석함으로써 미세한 입 맞춤 변화에 대한 민감도를 검증할 계획이라고 했다. 딥페이크 탐지처럼 결과가 사회적 판단에 영향을 주는 분야에서는 높은 정확도만으로 충분하지 않다며, 함께 연구를 완성하도록 이끌어 준 지도교사 박윤성 교사에게 고마움을 전했다. 독자에게 남기고 싶은 한 문장으로는 이렇게 말했다. "높은 숫자가 곧 진실을 의미하지는 않는다. 좋은 연구는 그 숫자가 왜 나왔고 어디까지 믿을 수 있는지를 끝까지 질문하는 과정이다."