AI, 존재하지 않는 해마 이모지에 집착하다...대규모 언어 모델의 '환각' 현상 분석

주요 AI 모델들이 존재하지 않는 해마 이모지를 존재한다고 확신하며 오작동을 일으키는 현상이 발견됐다.

[한국정보기술신문] 최신 대규모 언어 모델들이 실제로 존재하지 않는 해마 이모지를 존재한다고 확신하며 잘못된 이모지를 반복적으로 출력하는 이상 현상이 포착됐다. 이는 AI 모델의 내부 작동 방식과 한계를 보여주는 흥미로운 사례로 주목받고 있다.

기술 블로거 vgel은 자신의 블로그를 통해 GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro 등 주요 AI 모델들이 해마 이모지의 존재 여부를 질문받았을 때 100퍼센트 확률로 존재한다고 답변하는 현상을 발견했다고 밝혔다. 실제로 해마 이모지는 2018년 유니코드 컨소시엄에 공식 제안됐으나 거부된 바 있으며, 현재 이모지 목록에는 존재하지 않는다.

AI 모델의 착각은 어디서 비롯됐나

이러한 현상의 원인은 학습 데이터에서 찾을 수 있다. 레딧을 비롯한 온라인 커뮤니티에서는 해마 이모지가 존재했다고 기억하는 사람들의 글이 수백 건 이상 게시되어 있으며, 틱톡과 유튜브에서도 사라진 해마 이모지에 대한 콘텐츠가 다수 발견된다. AI 모델들은 이러한 데이터를 학습하면서 해마 이모지가 실제로 존재한다는 잘못된 믿음을 갖게 된 것으로 추정된다.

또한 다른 수생 동물 이모지가 다수 존재하는 상황에서 AI 모델이나 사람 모두 해마 이모지도 당연히 있을 것이라고 일반화하는 경향이 있다는 분석도 제기됐다.

로짓 렌즈로 본 AI의 내부 작동

vgel은 로짓 렌즈라는 해석 도구를 활용해 AI 모델이 해마 이모지를 출력하려 할 때 내부에서 어떤 일이 벌어지는지 분석했다. 분석 결과 AI 모델은 중간 레이어에서 해마와 이모지 개념을 결합한 표현을 구성하려 시도하는 것으로 나타났다.

그러나 실제로 해마 이모지 토큰이 존재하지 않기 때문에 최종 출력 단계에서 유사한 다른 이모지로 대체되는 현상이 발생한다. 물고기나 말 이모지 등이 잘못 출력되면서 AI 모델은 자신이 의도한 결과가 아니라는 것을 인식하게 되고, 일부 모델은 이를 수정하려다 반복적으로 잘못된 이모지를 출력하는 무한 루프에 빠지기도 한다.

강화학습의 필요성 제기

이번 발견은 AI 모델 학습에서 강화학습의 중요성을 시사한다. 기본 모델은 자신의 출력 결과를 학습하지 않기 때문에 출력 레이어에 대한 정보를 충분히 얻지 못한다. 강화학습을 통해 모델이 자신의 출력을 경험하고 학습한다면 이러한 문제를 개선할 수 있을 것으로 전망된다.

vgel은 해당 현상을 재현할 수 있는 코드를 깃허브에 공개하여 연구자들이 추가 분석을 진행할 수 있도록 했다.

깃허브 링크: https://gist.github.com/vgel/025ad6af9ac7f3bc194966b03ea68606

한국정보기술신문 인공지능분과 김주호 기자 news@kitpa.org