마이크로소프트, Windows ML 정식 출시...온디바이스 AI 개발 가속화

윈도우 11에서 생산용 로컬 AI 추론 프레임워크 제공, AMD·인텔·엔비디아·퀄컴과 협력

[한국정보기술신문] 마이크로소프트가 23일(현지시간) Windows ML을 정식 출시한다고 발표했다. Windows ML은 윈도우 11에 내장된 AI 추론 런타임으로, 개발자들이 CPU, GPU, NPU를 활용한 온디바이스 AI 모델 배포를 간소화할 수 있도록 설계됐다.

Windows ML은 ONNX Runtime과 호환되며 기존 ORT API를 활용할 수 있어 프로덕션 워크로드의 전환이 용이하다. 마이크로소프트는 ORT와 실행 제공자의 배포 및 유지보수를 직접 담당해 앱 개발자의 부담을 덜었다고 설명했다.

실행 제공자는 코어 런타임과 다양한 실리콘 생태계 간의 가교 역할을 하며, AMD, 인텔, 엔비디아, 퀄컴 등 각기 다른 칩에서 모델 실행을 독립적으로 최적화할 수 있게 한다.

실리콘 파트너 협력으로 하드웨어 호환성 확보

마이크로소프트는 주요 실리콘 파트너들과 긴밀히 협력해 Windows ML이 최신 CPU, GPU, NPU를 완전히 활용할 수 있도록 했다.

AMD는 Ryzen AI 플랫폼 전반에 Windows ML 지원을 통합했으며, 전용 Vitis AI 실행 제공자를 통해 NPU, GPU, CPU에서 AMD 실리콘의 성능을 활용할 수 있다. AMD 컴퓨팅 및 그래픽스 그룹의 존 레이필드 기업 부사장은 "AMD와 마이크로소프트가 함께 윈도우 생태계 전반에서 원활하게 실행되는 확장 가능하고 효율적인 고성능 AI 경험을 구현하고 있다"고 말했다.

인텔의 실행 제공자는 OpenVINO AI 소프트웨어 성능과 효율성을 Windows ML과 결합해 개발자들이 인텔 Core Ultra 프로세서 기반 PC에서 AI 워크로드에 최적화된 XPU를 쉽게 선택할 수 있도록 한다.

엔비디아의 TensorRT for RTX 실행 제공자는 RTX GPU의 전용 Tensor Core 라이브러리를 사용해 최대 성능을 구현한다. 엔비디아의 제이슨 폴 소비자 AI 부사장은 "Windows ML과 TensorRT for RTX 조합이 DirectML 대비 50% 이상 빠른 추론 성능을 제공한다"며 "1억 대 이상의 윈도우 디바이스에서 생성형 AI 확장을 가능하게 한다"고 밝혔다.

퀄컴 테크놀로지스는 마이크로소프트와 협력해 Qualcomm Neural Network 실행 제공자를 통해 Snapdragon X Series NPU용 Windows ML AI 모델과 앱을 최적화했다.

주요 소프트웨어 기업들의 도입 확산

Adobe, BUFFERZONE, Dot Inc., McAfee, Reincubate, Topaz Labs, Wondershare 등 주요 소프트웨어 개발사들이 Windows ML 도입을 진행 중이다.

Adobe Premiere Pro와 After Effects는 미디어 라이브러리 콘텐츠의 의미적 검색 가속화, 유형별 오디오 세그먼트 태깅, 장면 편집 감지 등을 로컬 NPU로 처리할 예정이다. Wondershare의 Filmora는 AMD, 인텔, 퀄컴 플랫폼에서 NPU 가속화에 최적화된 AI 기반 신체 효과를 실시간으로 미리 보기하고 적용할 수 있다.

개발 도구 및 시작 방법

개발자들은 AI Toolkit for VS Code를 통해 ONNX 변환, 양자화, 최적화, 컴파일, 평가 등 모델 및 앱 준비를 위한 강력한 도구를 사용할 수 있다. Windows ML은 Windows App SDK 버전 1.8.1부터 포함되며 Windows 11 24H2 이상을 실행하는 모든 디바이스를 지원한다.

개발자들은 최신 Windows App SDK로 프로젝트를 업데이트하고 Windows ML API를 호출해 실행 제공자를 초기화한 후 ONNX 모델을 로드해 몇 줄의 코드만으로 추론을 시작할 수 있다.

한국정보기술신문 인공지능분과 이지원 기자 news@kitpa.org