구글 클라우드, AI 위협 보고서 발표...모델 추출 공격 급증

민간 기업·학술 연구자, 제미나이 추론 능력 겨냥한 증류 공격 시도

[한국정보기술신문] 구글의 위협 인텔리전스 그룹(Google Threat Intelligence Group, GTIG)이 2025년 4분기 AI 위협 동향을 분석한 보고서를 발표하며, 공격자들이 AI를 공격 라이프사이클 전반에 통합하고 있다고 경고했다. 이번 보고서는 지난 2월 13일 공개됐으며, 특히 민간 기업과 연구자들에 의한 모델 추출 공격이 새로운 보안 화두로 떠올랐다.

보고서에 따르면 지난 한 해 동안 GTIG와 구글 딥마인드는 생성형 AI 제품을 대상으로 한 모델 추출 및 증류 공격 시도를 다수 확인했다. 이러한 공격은 AI 모델의 기본 추론 및 사고 과정을 알아내기 위한 목적으로 수행됐으며, 주로 글로벌 민간 기업 및 학술 연구자들에 의해 발생했다는 점이 주목된다. 공격자들은 특히 구글의 제미나이 모델의 추론 능력을 주요 표적으로 삼았다.

국가 지원 해킹 조직의 AI 악용 심화

국가의 지원을 받는 위협 행위자들도 AI 기술을 적극 활용하고 있는 것으로 드러났다. 이들은 코딩, 스크립트 작성, 표적 정보 수집, 취약점 연구, 침해 후 활동 수행 등 공격의 전 과정에서 AI를 악용하고 있다.

이란 정부의 지원을 받는 해킹 조직 APT42는 정찰 및 표적 맞춤형 소셜 엔지니어링 기법을 강화하기 위해 생성형 AI 모델을 활용했다. 이들은 AI를 통해 특정 기관의 공식 이메일 주소를 검색하고, 정찰 조사 내용을 바탕으로 잠재적 비즈니스 파트너를 가장해 신뢰할 만한 미끼를 제작하는 것으로 확인됐다.

북한 정부의 지원을 받는 해커 그룹 UNC2970은 채용 담당자를 사칭해 방위 산업체에 대한 집중 공격을 수행해왔다. 이들은 제미나이를 활용해 오픈소스 인텔리전스를 종합하고 고가치 표적을 물색하는 등 공격 계획 수립 및 정찰 활동을 수행한 것으로 나타났다.

AI 통합 멀웨어의 지속적 증가

2025년 말에도 위협 행위자들이 멀웨어 제품군에 새로운 기능을 추가하기 위해 AI를 실험하는 사례가 지속적으로 관찰됐다. HONESTCUE로 추적되는 멀웨어 샘플은 제미나이 API를 호출해 공격 코드를 생성함으로써 기존의 네트워크 기반 탐지 및 정적 분석을 우회하는 방식을 사용했다.

또한 COINBAIT라는 새로운 피싱 키트도 발견됐다. 이 키트는 주요 암호화폐 거래소로 위장해 사용자의 자격 증명을 탈취하는데, AI 코드 생성 도구 덕분에 제작 속도가 빨라진 것으로 추정된다.

악성 AI 서비스 시장 성장

영어권 및 러시아어권 지하 포럼을 관찰한 결과, AI 기반 도구 및 서비스에 대한 수요가 지속적으로 나타났다. 다만 위협 행위자들은 독자적인 맞춤형 모델을 직접 개발하기 어려워 기존에 출시된 완성도 높은 AI 모델에 의존하고 있는 것으로 분석됐다.

공격자들의 API 키 탈취 및 도용이 급증하는 것도 이러한 현상을 뒷받침한다. 일례로 Xanthorox는 지하 포럼에서 멀웨어 코드 자동 생성 및 피싱 공격 개발을 위해 설계된 맞춤형 AI로 광고되고 있다. 그러나 조사 결과, 이는 독자 모델이 아니라 여러 타사 및 상용 AI 제품을 기반으로 작동하는 것으로 드러났다.

이번 보고서는 AI가 공격자들에게 실질적인 생산성 도구로 자리 잡았음을 시사한다. 구글은 이러한 악용 사례를 선제적으로 차단하고 AI 모델의 보안을 강화하는 데 최선을 다하고 있다고 밝혔다.

본 보고서는 GTIG가 지난 2025년 11월 발표한 AI 위협 보고서 이후 최신 조사 결과를 업데이트한 것이다. 보고서 전문은 구글 클라우드 공식 블로그를 통해 확인할 수 있다.

한국정보기술신문 인공지능분과 권지현 기자 news@kitpa.org