애플, NeurIPS 2025서 개인정보 보호 강화 AI 연구 대거 공개...추론 모델 한계 분석도 주목

12월 샌디에이고서 개최되는 AI 학회 참가, 차등 프라이버시 기술과 생성형 AI 혁신 연구 발표

[한국정보기술신문] 애플이 다음달 미국 샌디에이고에서 개최되는 제39회 신경정보처리시스템 학회(NeurIPS 2025)에서 개인정보 보호를 강화한 인공지능 및 머신러닝 연구 성과를 대거 공개한다. 애플은 이번 학회의 공식 후원사로 참여하며, 부스 1103번에서 자체 개발한 ML 연구 시연을 진행할 예정이다.

애플 측은 개인정보 보호가 기본적 인권이라는 믿음 아래 AI와 ML에서 프라이버시 보호 기술을 발전시키는 것이 지속적인 연구 분야라고 밝혔다. 이번 NeurIPS에서 애플 연구진은 이 분야에서 여러 편의 논문을 발표한다.

차등 프라이버시 기술의 새로운 진전

스포트라이트 논문으로 선정된 개인 KL 분포 추정을 위한 인스턴스 최적성(Instance-Optimality for Private KL Distribution Estimation) 연구는 개인정보를 보호하면서도 확률 분포를 정확하게 추정하는 방법을 탐구한다. 이 연구는 각 데이터셋에 맞춰 적응하고 해당 사례에 가능한 최상의 방법만큼 성능을 발휘하는 인스턴스 최적성에 초점을 맞췄다. 연구진은 차등 프라이버시를 적용하거나 적용하지 않은 상태 모두에서 이러한 균형을 달성하는 새로운 알고리즘을 제시했다. 이를 통해 단일 개인의 데이터를 추론할 수 없도록 수학적으로 보장하면서도 KL 오류로 분포를 정확하게 추정할 수 있음을 보여줬다.

또 다른 스포트라이트 논문인 무작위 할당에 의한 프라이버시 증폭(Privacy Amplification by Random Allocation)에서는 무작위 할당이라는 새로운 샘플링 전략을 분석했다. 이 샘플링 방식에서는 t단계의 시퀀스나 집합에서 무작위로 균일하게 선택된 k단계에서 사용자 데이터가 활용된다. 논문은 이 방식에 대한 최초의 이론적 보장과 수치 추정 알고리즘을 제공한다. 이를 통해 차등 프라이버시 SGD의 인기 변형 및 효율적인 보안 집계 알고리즘에 대한 더 나은 프라이버시 분석과 프라이버시-유용성 균형이 가능해진다.

추론 모델의 강점과 한계 면밀히 분석

애플 연구진이 발표할 복잡성의 렌즈를 통한 추론 모델의 강점과 한계 이해: 생각의 환상(The Illusion of Thinking) 연구는 현재 AI 모델이 복잡한 추론 작업을 어떻게 처리하는지 탐구한다. 제어 가능한 퍼즐 환경을 통해 문제가 복잡해짐에 따라 모델의 성능이 어떻게 변하는지 체계적으로 테스트했다.

연구 결과 최첨단 대형 추론 모델(LRM)의 정확도는 특정 복잡도를 넘어서면 급격히 떨어지는 것으로 나타났다. LRM의 추론 노력은 문제의 복잡도가 증가함에 따라 함께 증가하지만 특정 지점까지만 그러하며, 충분한 토큰 예산이 있음에도 불구하고 이후에는 감소한다는 사실도 발견했다. 또한 동일한 추론 컴퓨팅 자원을 사용한 LRM과 대형 언어 모델(LLM)의 성능을 비교한 결과, LLM은 저복잡도 작업에서 우수하고 LRM은 중간 복잡도 작업에서 이점을 보이지만 고복잡도 작업에서는 둘 다 실패하는 것으로 나타났다.

해당 논문의 저자 중 한 명은 12월 2일 오전 8시 30분(태평양 표준시) 어퍼 레벨 볼룸 20AB에서 추론에 관한 엑스포 강연을 진행할 예정이다. 강연에서는 언어 모델의 추론에 대한 비판적 검토를 제공하고, 현재 평가가 왜 오해의 소지가 있을 수 있는지 강조하며, 추론이 모델이 무엇을 답하는가뿐만 아니라 문제를 어떻게 해결하는가에 관한 것임을 강조할 계획이다.

생성형 AI의 혁신적 접근법 제시

스포트라이트 논문인 STARFlow: 고해상도 이미지 합성을 위한 잠재 정규화 흐름 스케일링(STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis)에서 애플 연구진은 이전 방법의 계산 비용과 복잡성 없이 비교 가능한 품질의 고해상도 이미지를 생성하는 확장 가능한 접근법을 공유했다. 이 방법은 정규화 흐름(NF)과 자동회귀 트랜스포머 아키텍처를 결합한 트랜스포머 자동회귀 흐름(TARFlow)을 기반으로 한다.

STARFlow는 NF 모델로는 이전에 도달할 수 없다고 여겨졌던 해상도와 품질 수준에서 이미지를 생성하며, 정확한 가능도 모델링과 더 빠른 추론을 유지하면서 최상위 확산 및 자동회귀 방법과 경쟁한다. 이 연구는 이러한 규모와 해상도에서 정규화 흐름의 첫 번째 성공적인 시연이며, 정규화 흐름이 AI 이미지 생성을 위한 확산 모델의 강력한 대안임을 보여준다.

또한 LinEAS: 분포 손실을 통한 활성화 조정의 엔드투엔드 학습(LinEAS: End-to-end Learning of Activation Steering with a Distributional Loss) 연구는 생성형 AI 모델의 출력을 제어하는 효율적인 방법을 제시한다. LinEAS는 모든 레이어별 분포 변화를 동시에 고려하는 글로벌 손실로 훈련된 선형 엔드투엔드 활성화 조정 접근법이다. 소수의 쌍을 이루지 않은 샘플만으로도 효과적이며, 언어 모델의 독성 완화에서 유사한 기준선을 능가한다.

데이터 혼합 최적화를 위한 스케일링 법칙

최적 데이터 혼합을 위한 스케일링 법칙(Scaling Laws for Optimal Data Mixtures) 논문은 대형 기반 모델 훈련에서 중요한 역할을 하는 데이터 혼합 비율을 결정하는 체계적인 방법을 제공한다. 연구진은 스케일링 법칙을 사용하여 모든 대상 도메인에 대한 최적 데이터 혼합을 결정하는 방법을 공유했다.

스케일링 법칙은 크기 N인 모델이 혼합 h로 D개의 토큰으로 훈련될 때의 손실을 예측한다. 논문은 이러한 스케일링 법칙이 보편적이며, 대형 언어 모델(LLM), 네이티브 멀티모달 모델(NMM), 대형 비전 모델(LVM)의 대규모 사전 훈련에 대한 예측력을 입증한다. 또한 이러한 스케일링 법칙이 새로운 데이터 혼합과 규모 전반에 걸쳐 외삽할 수 있음을 보여준다.

MLX 및 FastVLM 데모 전시

NeurIPS 참석자들은 전시 시간 동안 부스 1103번에서 애플 ML 연구의 라이브 데모와 상호작용할 수 있다. MLX는 애플 실리콘을 위해 설계된 오픈소스 배열 프레임워크로, 애플 하드웨어에서 빠르고 유연한 ML 및 과학 컴퓨팅을 가능하게 한다. 방문객들은 M5 칩이 탑재된 아이패드 프로에서 대형 확산 모델을 사용한 이미지 생성과, M3 울트라 칩이 탑재된 맥 스튜디오 4대 클러스터에서 1조 개의 매개변수 모델로 텍스트 및 코드 생성을 경험할 수 있다.

FastVLM은 MLX를 사용하여 구축된 모바일 친화적인 비전 언어 모델 제품군이다. 이 모델들은 고해상도 이미지 처리를 위해 특별히 설계된 CNN과 트랜스포머 아키텍처의 혼합을 비전 인코딩에 사용한다. 방문객들은 아이폰 17 프로 맥스에서 실시간 시각적 질의응답 데모를 경험할 수 있다.

애플은 또한 ML 커뮤니티의 소외된 그룹을 지원하기 위해 12월 2일 여성 머신러닝(WiML) 워크숍, 12월 2일 라틴엑스 인 AI 워크숍, 12월 4일 퀴어 인 AI 워크숍 및 저녁 모임 등 여러 친화 그룹이 주최하는 행사를 후원하고 있다.

한국정보기술신문 인공지능분과 김주호 기자 news@kitpa.org