Metaflow-Kubeflow 통합 발표...쿠버네티스 기반 AI 개발 환경 개선

넷플릭스 오픈소스 프레임워크 메타플로우(Metaflow), 쿠버플로우(Kubeflow) 파이프라인 배포 지원

[한국정보기술신문] 쿠버플로우 프로젝트가 2월 4일 공식 블로그를 통해 넷플릭스의 오픈소스 머신러닝 프레임워크인 메타플로우와의 통합을 발표했다. 이번 통합으로 개발자들은 메타플로우의 직관적인 API를 활용해 프로젝트를 작성하고, 이를 쿠버플로우 파이프라인으로 배포할 수 있게 됐다.

메타플로우는 넷플릭스가 2019년 오픈소스로 공개한 Python 기반 머신러닝 및 AI 프로젝트 개발 프레임워크다. 데이터 과학자와 AI 개발자들이 엔지니어링이나 DevOps 팀의 도움 없이도 빠르게 아이디어를 반복 실행하고 프로덕션에 배포할 수 있도록 설계됐다. 초기에는 AWS Batch와 Step Functions 같은 AWS 네이티브 서비스를 중심으로 시작했으나, 이후 쿠버네티스 생태계와 다양한 클라우드 환경을 지원하도록 확장됐다.

반면 쿠버플로우는 분산 텐서플로우와 주피터 노트북 관리를 위한 쿠버네티스 오퍼레이터로 시작해, 현재는 클라우드 네이티브 AI 생태계의 포괄적인 플랫폼으로 발전했다. Trainer, Katib, Spark Operator, KServe, Pipelines 등 다양한 도구를 제공하며 인프라 팀에 높은 가치를 제공해왔다.

상호보완적 통합의 배경

쿠버플로우 프로젝트 측은 두 플랫폼이 상호보완적 특성을 가지고 있다고 설명했다. 메타플로우는 직관적인 API로 최종 사용자들에게 호평을 받아왔으며, 쿠버플로우는 견고한 플랫폼 구성요소를 통해 인프라 팀에 가치를 제공해왔다는 것이다.

2025년 10월 실시된 CNCF 기술 레이더 조사에서 메타플로우는 추천 가능성과 유용성 범주에서 가장 높은 긍정적 점수를 받았다. 이는 ML 및 AI 개발자들의 생산성을 높이는 안정적인 API를 제공하는 데 성공했음을 보여주는 결과다.

메타플로우는 초기 실험부터 프로덕션 배포, 운영까지 전체 개발 생명주기를 지원한다. 개발 단계에서는 워크플로우 생성 및 구성을 위한 간단한 API, 아티팩트를 통한 자동화된 상태 관리, 실시간 시각화 출력, 설정 관리 기능을 제공한다. 스케일링 단계에서는 수평 및 수직 확장, 우아한 장애 처리, 자동 의존성 패키징, Ray 및 MPI 같은 분산 컴퓨팅 패러다임 지원 기능이 포함된다. 배포 단계에서는 네임스페이스를 통한 실험과 프로덕션 환경 분리, CI/CD 및 GitOps 지원, 이벤트 트리거링을 통한 반응형 시스템 구성 기능을 갖추고 있다.

기존 인프라 유지하며 개발자 경험 향상

이번 통합의 핵심 이점은 조직이 기존 쿠버네티스 및 쿠버플로우 인프라를 그대로 유지하면서, 메타플로우가 제공하는 고수준 추상화와 추가 기능을 통해 개발자 경험을 향상시킬 수 있다는 점이다.

현재 통합은 메타플로우 플로우를 쿠버플로우 파이프라인으로 배포하는 것을 지원한다. 메타플로우 태스크가 쿠버네티스에서 실행되면, Katib과 Trainer 같은 다른 구성요소들도 Python 클라이언트를 통해 평소처럼 접근할 수 있다.

간편한 설치와 사용

통합을 위해 기존 쿠버플로우 인프라를 변경할 필요가 없어 시작이 간단하다. 메타플로우를 기존 클라우드 계정에 배포하거나 개발 스택을 로컬에 설치한 후, metaflow-kubeflow 확장 패키지를 pip로 설치하면 된다. 유일한 설정은 메타플로우가 쿠버플로우 Pipelines 서비스를 가리키도록 URL을 지정하는 것뿐이다.

이후 개발자는 평소처럼 메타플로우 플로우를 작성하고 python flow.py run 명령으로 로컬에서 테스트할 수 있다. 모든 것이 정상이면 python flow.py kubeflow-pipelines create 명령으로 쿠버플로우 파이프라인으로 배포할 수 있다. 이 명령은 소스 코드와 의존성을 자동으로 패키징하고, 메타플로우 플로우를 쿠버플로우 Pipelines YAML로 컴파일해 쿠버플로우에 배포한다.

다만 아직 모든 기능이 지원되는 것은 아니다. 조건부 단계와 재귀적 단계 같은 일부 메타플로우 기능은 아직 지원되지 않는다. 향후 버전에서는 KServe 같은 다른 쿠버플로우 구성요소를 위한 추가 편의 API를 제공할 계획이며, 개발자들은 쿠버플로우 SDK를 사용해 커스텀 데코레이터로 직접 구현할 수도 있다.

메타플로우는 쿠버플로우처럼 여러 조직이 적극적으로 개발하는 오픈소스 프로젝트다. 넷플릭스는 메타플로우 전담 팀을 운영하고 있으며, Outerbounds는 고객 클라우드 환경에 배포되는 관리형 메타플로우 플랫폼을 제공하고 있다. 메타플로우 커뮤니티는 Slack 채널을 통해 모이며, 쿠버플로우 통합에 대한 질문과 피드백, 로드맵 제안을 환영한다고 밝혔다.

한국정보기술신문 클라우드분과 유민건 기자 news@kitpa.org