컴퓨터 비전으로 농구 선수 감지·추적·식별하는 AI 시스템 개발...NBA 경기 분석 가능

로보플로우, 여러 최첨단 AI 모델 결합한 농구 선수 인식 시스템 공개. 모션 블러와 유니폼 겹침 등 어려운 환경 극복.

[한국정보기술신문] 인공지능 컴퓨터 비전 기업 로보플로우(Roboflow)가 농구 경기 중 선수를 실시간으로 감지하고 추적하며 식별할 수 있는 컴퓨터 비전 시스템을 개발해 오픈소스로 공개했다. 이 시스템은 NBA 경기와 같은 빠른 움직임과 복잡한 상황에서도 선수를 정확하게 인식할 수 있다.

농구는 컴퓨터 비전 기술 적용이 가장 어려운 스포츠 중 하나로 꼽힌다. 선수들이 고속으로 움직여 모션 블러가 발생하고, 신체가 서로 겹쳐 유니폼 번호를 읽기 어렵다. 또한 팀 유니폼이 거의 동일하게 보여 외형만으로는 선수를 구분하기 힘들며, 카메라가 지속적으로 줌과 패닝을 하면서 시점이 매 순간 변한다.

다섯 가지 AI 모델 결합한 복합 파이프라인

로보플로우는 이러한 문제를 해결하기 위해 여러 최첨단 컴퓨터 비전 모델을 하나의 파이프라인으로 결합했다. 주요 모델은 RF-DETR, SAM2, SmolVLM2, ResNet, SigLIP 등 5가지다.

먼저 RF-DETR 모델로 선수와 유니폼 번호, 농구공과 골대 등을 감지한다. RF-DETR-S는 COCO 벤치마크에서 YOLO11-L과 같은 대형 모델보다 빠르면서도 정확도가 높아 선택됐다. 로보플로우는 이 모델을 10개 클래스로 구성된 맞춤 데이터셋으로 파인튜닝했다.

추적에는 SAM2(Segment Anything Model 2)를 사용한다. SAM2는 비디오에서 객체를 분할하고 추적하는 통합 모델로, 내부 메모리 메커니즘을 통해 선수가 다른 선수에게 가려졌다가 다시 나타나도 지속적으로 추적할 수 있다.

비지도 학습으로 팀 구분

팀 구분에는 비지도 학습 방식을 활용했다. SigLIP 모델로 선수 이미지의 임베딩을 생성하고, UMAP으로 차원을 축소한 뒤 K-means 클러스터링을 통해 유니폼의 시각적 특징을 기반으로 두 팀을 자동으로 분류한다. 이 방법은 경기마다 다른 유니폼과 코트 환경에서도 수동 데이터 주석 없이 작동하는 범용 솔루션을 가능하게 한다.

유니폼 번호 인식에는 두 가지 접근법을 시험했다. 처음에는 소형 비전-언어 모델인 SmolVLM2를 사용했다. 이 모델은 문서 OCR에 사전 훈련됐으나 농구 유니폼 번호로 전이 학습이 잘 됐다. 초기 정확도는 56퍼센트였으나, 2025년 NBA 플레이오프에서 수집한 3600장의 이미지로 파인튜닝 후 86퍼센트로 향상됐다.

더 나은 성능을 위해 ResNet-32 분류 모델도 테스트한 결과 93퍼센트의 정확도를 기록했다. 이는 특정 작업에 맞춰 훈련된 경량 CNN이 범용 비전-언어 모델보다 효과적일 수 있음을 보여준다.

반복 예측으로 인식 정확도 높여

번호와 선수를 매칭하기 위해서는 IoS(Intersection over Smaller Area) 지표를 사용한다. IoS가 0.9 이상일 때만 매칭으로 인정하여 신뢰도를 높였다.

선수 식별의 정확도를 더욱 높이기 위해 5프레임마다 번호를 샘플링하고, 같은 예측이 3회 연속으로 나타날 때만 확정하는 휴리스틱을 적용했다. 이 방법은 선수가 카메라에서 멀리 떨어져 있거나 자세가 바뀔 때도 안정적인 인식을 가능하게 한다.

현재 이 시스템은 엔비디아 T4 GPU에서 초당 1~2프레임으로 작동하며 실시간은 아니다. 가장 큰 병목은 SAM2로, 추적 객체 수가 증가하면 성능이 저하된다. 로보플로우는 해상도 조정이나 더 작은 체크포인트 사용, 지식 증류 등으로 처리 속도를 개선할 수 있다고 설명했다.

로보플로우는 전체 코드를 오픈소스로 공개했으며, 구글 콜랩 노트북을 통해 누구나 시험하고 확장할 수 있다. 이 시스템은 현대 컴퓨터 비전 모델을 결합해 실제 스포츠 분석 작업을 해결할 수 있음을 입증했다.

한국정보기술신문 인공지능분과 김주호 기자 news@kitpa.org