GPTZero, AI 학술 논문 100여건에서 허위 인용 발견…동료 검토 시스템 한계 드러나

AI 도구 활용 논문 작성이 늘며 학술계 신뢰성 위기

[한국정보기술신문] AI 탐지 전문 기업 GPTZero가 세계 최고 수준의 인공지능 학술 컨퍼런스인 NeurIPS 2025에서 승인된 논문들을 분석한 결과, 51개 논문에서 최소 100건의 허위 인용을 발견했다고 21일 발표했다. 이는 각 논문이 최소 3명 이상의 전문가 검토를 거쳤음에도 발생한 것으로, AI 생성 콘텐츠가 학술계에 미치는 영향과 동료 검토 시스템의 한계를 보여주는 사례로 평가받고 있다.

GPTZero는 자체 개발한 Hallucination Check 도구를 활용해 NeurIPS 2025에 승인된 4841개 논문을 분석했다. 분석 결과 AI가 생성한 것으로 추정되는 허위 인용이 다수 발견됐으며, 이는 저자 이름 조작, 제목 변조, 존재하지 않는 arXiv ID 사용 등 다양한 형태로 나타났다. 대표적인 사례로는 실제 논문의 저자를 'John Doe'와 'Jane Smith' 같은 가짜 이름으로 대체하거나, 실제 존재하는 논문의 제목과 유사하지만 미묘하게 다른 제목을 사용한 경우가 있었다.

급증하는 논문 투고와 검토 시스템의 한계

NeurIPS, ICLR, ICML, AAAI 등 주요 AI 학술 컨퍼런스는 매년 수천 건의 논문 투고를 받는다. 특히 생성형 AI의 등장과 논문 출판 압박이 결합되면서 투고 논문 수가 급증하고 있다. NeurIPS의 경우 2020년 9467건이던 투고 논문이 2025년에는 21575건으로 220퍼센트 이상 증가했다. 이에 따라 컨퍼런스 주최 측은 더 많은 검토자를 모집해야 했고, 이 과정에서 전문성 불일치, 부주의, 심지어 부정행위까지 발생하는 문제가 나타났다.

NeurIPS 2025의 메인 트랙 논문 승인률은 24.52퍼센트로, 이번에 발견된 허위 인용이 포함된 논문들은 1만5000개 이상의 경쟁 논문을 제치고 승인받았다. 이는 하나 이상의 허위 인용이 있음에도 불구하고 검토 과정을 통과했다는 것을 의미한다. NeurIPS의 LLM 정책은 허위 인용을 논문 거부 또는 철회 사유로 규정하고 있어, 이번 발견은 정책 시행의 실효성에 대한 의문을 제기한다.

'Vibe Citing' 현상과 AI의 역할

GPTZero는 이번 조사를 통해 발견한 AI 생성 허위 인용을 설명하기 위해 'vibe citing'이라는 용어를 새롭게 제안했다. 이는 실제 출처의 요소들을 조합하거나 의역해 얼핏 정확해 보이지만 자세히 살펴보면 허점이 드러나는 인용을 의미한다. GPTZero의 머신러닝 책임자 알렉스 아담스는 "'vibe citing'은 'vibe writing'이나 'vibe coding'처럼 언뜻 보기엔 정확해 보이지만 면밀한 검토를 거치면 무너지는 인용"이라고 설명했다.

vibe citing의 전형적인 특징은 다음과 같다. 첫째, 하나 이상의 실제 출처에서 제목, 저자, 위치 정보를 결합하거나 의역한다. 둘째, 저자명, 제목, URL, DOI, 출판사나 학술지 같은 컨테이너 정보를 조작한다. 셋째, 이니셜에서 이름을 추론하거나 저자를 추가 또는 삭제하거나 제목을 의역하는 방식으로 출처를 변형한다. 이러한 오류는 LLM이 생성한 텍스트에서는 흔하지만 사람이 작성한 텍스트에서는 드물게 나타나는 특징이다.

GPTZero의 Hallucination Check 도구

GPTZero의 Hallucination Check 도구는 문서 내 모든 인용을 검사해 온라인에서 확인할 수 없는 인용을 표시한다. 표시된 인용이 반드시 허위인 것은 아니지만 추가 검토가 필요함을 나타낸다. 보관 문서나 미출판 저작물은 온라인에서 찾을 수 없을 수 있기 때문이다. GPTZero는 항상 사람이 최종적으로 표시된 인용이 AI가 생성한 가짜인지, 아니면 일반적인 실수의 결과인지 확인할 것을 권장한다.

이 도구는 GPTZero의 AI 탐지기와 마찬가지로 극히 낮은 거짓 음성률을 보인다. 즉, 결함 있는 인용 100건 중 99건을 포착한다. 온라인에서 확인할 수 없는 모든 인용을 표시하기 때문에 거짓 양성률은 다소 높은 편이다. GPTZero는 저자가 원고의 인용 오류를 확인하고, 검토자가 투고 논문의 출처를 검증하는 시간과 노력을 크게 줄이며, 편집자와 컨퍼런스 의장이 AI 생성 텍스트와 의심스러운 인용을 동시에 확인할 수 있도록 지원한다.

학술계에 미치는 광범위한 영향

이번 발견은 단순히 NeurIPS 컨퍼런스만의 문제가 아니다. GPTZero는 지난달 ICLR 2026 검토 중인 논문에서도 50개 이상의 허위 인용을 발견한 바 있다. 이는 AI를 활용한 논문 작성이 학술계 전반에 확산되고 있음을 시사한다. 오픈소스 프로젝트 중 AI로 연구 논문을 작성하는 도구의 인기가 급증하고 있는데, 2025년 4월과 9월에 각각 NeurIPS와 ICLR 논문 투고 마감일과 맞물려 사용량이 급증한 것으로 나타났다.

GPTZero는 이러한 결과를 공개한 목적이 특정 주최자, 영역 의장, 검토자를 비판하기 위함이 아니라고 밝혔다. 대신 동료 검토 파이프라인의 중요한 취약점을 조명하고, 학술 검토자, 편집자, 컨퍼런스 주최자가 시스템이 본래 방어하도록 설계되지 않았던 도전과제에 직면해 있음을 보여주기 위함이라고 설명했다. NeurIPS는 지난 몇 년간 투고 논문 증가와 생성형 AI 도구로 인한 문제를 해결하기 위해 검토 프로세스를 여러 차례 변경했지만, 여전히 한계가 드러나고 있다.

향후 전망과 대응 방안

GPTZero는 ICLR 팀과 협력해 향후 논문 투고를 검토할 계획이라고 밝혔다. 동사는 동료 검토 프로세스를 모든 참여자에게 더 빠르고 공정하며 투명하게 만드는 것을 목표로 한다고 강조했다. Hallucination Check 도구는 현재 동종 유일의 도구로, 동료 검토 파이프라인의 여러 지점에서 필수적인 서비스를 제공한다. 저자는 원고의 인용 오류를 확인할 수 있고, 검토자는 투고 논문의 출처를 확인하고 의심스러운 vibe citing을 식별하는 데 필요한 시간과 노력을 크게 줄일 수 있다.

학술계는 이번 사건을 계기로 AI 도구의 적절한 사용 방법과 검토 시스템의 개선 방안을 모색해야 할 것으로 보인다. 특히 투고 논문 급증에 대응하면서도 학술적 엄격성을 유지할 수 있는 방안 마련이 시급한 상황이다. GPTZero는 동사의 도구가 학술 출판의 무결성을 보호하는 데 기여할 수 있기를 기대한다고 밝혔다. 동시에 연구자들이 AI를 보조 도구로 활용하되, 최종 검증과 책임은 인간이 져야 한다는 원칙이 더욱 중요해지고 있다.

한국정보기술신문 정보보안분과 오상진 기자 news@kitpa.org