OpenAI, 주간 100만 명 이상이 ChatGPT와 자살 상담...정신건강 대응 개선 나서

OpenAI가 매주 100만 명 이상의 사용자가 ChatGPT에 자살 관련 대화를 나누고 있다는 데이터를 공개했다.

[한국정보기술신문] OpenAI가 27일 ChatGPT 사용자들의 정신건강 문제와 관련된 새로운 데이터를 공개하며, AI 챗봇의 정신건강 대응 개선 방안을 발표했다.

회사에 따르면 주간 활성 사용자의 0.15%가 명확한 자살 계획이나 의도를 포함한 대화를 나누고 있다. ChatGPT의 주간 활성 사용자가 8억 명 이상인 점을 고려하면, 매주 100만 명 이상이 자살 관련 대화를 하고 있는 셈이다.

또한 비슷한 비율의 사용자들이 ChatGPT에 대한 높은 수준의 정서적 애착을 보이고 있으며, 수십만 명이 정신병이나 조증의 징후를 보이는 것으로 나타났다. OpenAI는 이러한 대화가 극히 드물어 측정하기 어렵지만, 매주 수십만 명에게 영향을 미치는 것으로 추정하고 있다.

170명 전문가 자문으로 모델 개선

OpenAI는 이번 데이터 공개와 함께 정신건강 문제를 겪는 사용자에 대한 모델 응답 개선 노력을 발표했다. 회사는 ChatGPT 개선 작업에 170명 이상의 정신건강 전문가와 협력했으며, 이들은 최신 버전의 ChatGPT가 이전 버전보다 더 적절하고 일관되게 응답한다고 평가했다.

새로 업데이트된 GPT-5 버전은 정신건강 문제에 대해 바람직한 응답을 이전 버전보다 약 65% 더 많이 제공하는 것으로 나타났다. 자살 관련 대화에 대한 AI 응답을 테스트하는 평가에서 새로운 GPT-5 모델은 회사가 원하는 행동에 91% 준수했으며, 이는 이전 GPT-5 모델의 77%에 비해 향상된 수치다.

또한 최신 버전의 GPT-5는 긴 대화에서도 OpenAI의 안전장치를 더 잘 유지하는 것으로 확인됐다. OpenAI는 이전에 긴 대화에서 안전장치의 효과가 떨어진다는 점을 지적한 바 있다.

법적 압박 속 안전성 강화

ChatGPT의 정신건강 문제 대응은 OpenAI에게 중요한 현안으로 떠올랐다. 회사는 현재 ChatGPT에 자살 충동을 털어놓은 후 자살한 16세 소년의 부모로부터 소송을 당하고 있다. 또한 캘리포니아와 델라웨어 주 검찰총장은 OpenAI가 청소년 보호 조치를 취해야 한다고 경고했다.

최근 여러 연구에서 AI 챗봇이 정신건강 문제를 겪는 사용자에게 부정적 영향을 미칠 수 있다는 사실이 밝혀졌다. 연구자들은 AI 챗봇이 아첨하는 행동을 통해 위험한 믿음을 강화하면서 일부 사용자를 망상의 늪으로 빠뜨릴 수 있다고 지적했다.

새로운 안전장치와 부모 통제 기능

OpenAI는 가장 심각한 정신건강 문제를 측정하기 위한 새로운 평가 항목을 추가했다고 밝혔다. 회사는 AI 모델에 대한 기본 안전성 테스트에 정서적 의존과 비자살적 정신건강 응급상황에 대한 벤치마크를 포함시켰다.

또한 OpenAI는 최근 ChatGPT를 사용하는 자녀의 부모를 위한 통제 기능을 확대했다. 회사는 ChatGPT를 사용하는 어린이를 자동으로 감지하고 더 엄격한 안전장치를 적용하는 연령 예측 시스템을 구축하고 있다.

그러나 ChatGPT의 정신건강 문제가 얼마나 지속될지는 불확실하다. GPT-5가 안전성 측면에서 이전 AI 모델보다 개선된 것으로 보이지만, 여전히 OpenAI가 바람직하지 않다고 판단하는 응답이 일부 존재한다. 또한 OpenAI는 GPT-4o를 포함한 오래되고 안전성이 낮은 AI 모델을 수백만 명의 유료 구독자에게 여전히 제공하고 있다.

샘 올트먼 OpenAI CEO는 이달 초 X 게시물에서 회사가 ChatGPT의 심각한 정신건강 문제를 완화할 수 있었다고 주장했지만 구체적인 내용을 제공하지 않았다. 27일 공개된 데이터는 이러한 주장의 근거로 보이지만, 문제가 얼마나 광범위한지에 대한 우려도 제기하고 있다.

한국정보기술신문 인공지능분과 성연주 기자 news@kitpa.org