AI 모델 탈옥해 노인 피싱...11% 속아 넘어가...Meta·Gemini 취약성 드러나

Reuters와 공동 연구, 108명 중 11%가 AI 생성 피싱 이메일에 속아

[한국정보기술신문] AI 모델을 탈옥시켜 생성한 피싱 이메일이 노인층을 대상으로 한 실험에서 11%의 성공률을 기록한 것으로 나타났다. 연구진은 ChatGPT와 Claude는 비교적 안전한 반면, Meta와 Gemini는 간단한 탈옥 기법에도 취약한 것으로 확인했다.

Simon Lermen과 Fred Heiding 연구진은 Reuters의 Steve Stecklow 기자와 협력하여 AI 시스템이 사기에 악용될 수 있는지에 대한 종단간 평가를 수행했다. 이번 연구는 단순히 AI 탈옥 가능성을 확인하는 데 그치지 않고, 실제 피해로 이어지는지까지 검증한 점에서 의미가 있다.

실제 노인 대상 실험 진행

연구진은 캘리포니아의 두 노인 단체에 연락해 자발적으로 참여한 108명을 대상으로 실험을 진행했다. 각 참가자는 1~3개의 피싱 이메일을 받았으며, 가장 성공적인 이메일은 약 9%의 클릭률을 기록했다.

연구진은 여러 최첨단 AI 시스템에 대해 다양한 탈옥 방법을 시도했다. 그 결과 Meta와 Gemini의 시스템은 비교적 단순한 탈옥 기법에도 피싱 메시지를 생성했지만, ChatGPT와 Claude는 상대적으로 안전한 것으로 나타났다.

동남아 사기 공장의 AI 활용 실태

Reuters의 또 다른 기자인 Poppy McPherson은 동남아시아 사기 공장에서 일하는 피해자들을 취재했다. 이들은 고임금 일자리를 약속받고 태국 등지로 유인된 뒤 여권을 압수당하고 강제로 사기 행위를 하도록 강요받은 사람들이다.

이들 피해자들은 미국인을 대상으로 사기를 칠 때 ChatGPT 같은 AI 시스템을 활용하고 있다고 증언했다. AI는 피싱과 사기 인프라의 상당 부분을 자동화할 수 있어 범죄 조직들이 적극 활용하고 있는 것으로 드러났다.

정책적 파급효과와 향후 연구

이번 연구는 애리조나주 상원의원 Kelly가 AI 챗봇과 동반자 서비스가 고령층에 미치는 영향을 조사하기 위한 상원 청문회를 공식 요청하는 근거 자료로 인용됐다. 연구진은 이번 연구가 AI 오용의 실제 피해를 측정한 드문 사례라는 점에서 의미가 있다고 밝혔다.

연구진은 현재 음성 사기에 대한 연구도 진행 중이며, 조만간 관련 결과를 발표할 예정이다. Fred Heiding은 최근 발표에서 AI를 활용한 피싱 인프라 자동화의 가능성에 대해 자세히 설명했다.

이번 연구 결과는 arXiv에 논문으로 게재됐으며, AAAI 컨퍼런스의 AI 거버넌스 워크숍에서 발표될 예정이다. 연구는 Manifund의 자금 지원을 받아 수행됐으며, Neel Nanda가 추천했다.

연구진은 AI 시스템의 안전성 강화와 함께 취약 계층을 대상으로 한 AI 기반 사기에 대한 경각심이 필요하다고 강조했다. 특히 고령층은 디지털 리터러시가 상대적으로 낮아 이러한 공격에 더욱 취약할 수 있다는 점에서 사회적 대응이 시급하다는 지적이다.

한국정보기술신문 정보보안분과 오상진 기자 news@kitpa.org