스포츠 하이라이트 찾은 AI, 평가기술 개발

[파이낸셜뉴스] 스포츠 경기 영상에서 하이라이트를 뽑아내는 인공지능(AI) 모델의 성능을 제대로 평가할 수 있는 기술이 나왔다. 스포츠 하이라이트 자동 제작뿐 아니라 영화·드라마 요약, 회의 기록 정리, 장시간 관제 영상의 주요 장면 검색 등으로 확장할 수 있다는 기대다.

울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 스포츠 영상에서 하이라이트를 추출하는 AI 모델을 평가하는 대규모 벤치마크인 'SVHighlights(Sport Video Highlights)'를 만들었다고 13일 밝혔다.

벤치마크는 어느 AI가 정답을 더 잘 맞히는지 비교하는 일종의 공통 시험지다. 기존 벤치마크에 담긴 영상은 대부분 2~4분 내외였다. '정답'을 만들려면 사람이 영상을 처음부터 끝까지 보면서 어느 구간이 하이라이트인지 일일이 표시해야 해 영상이 길수록 천문학적 시간과 비용이 들기 때문이다.

반면 연구팀이 만든 벤치마크는 축구, 야구, 농구, 배구, 미식축구, 아이스하키, 럭비, 레이싱 등 8개 종목 320편의 영상으로 구성돼 있으며, 누적 640.18시간이라는 방대한 규모다. 영상 한 편의 평균 길이가 2시간으로 기존 데이터셋보다 무려 30~60배나 길어, 실제 스포츠 중계 길이와 비슷한 수준이다.

이 같은 방대한 벤치마크를 구축하는 데 사람의 역할은 경기 시작과 끝 지점을 영상당 한 번 표시하고, 자동으로 짝지어진 화면을 격자 이미지로 훑어보는 정도에 그쳤다. 이 확인 과정에서 자동으로 짝지어진 화면이 오류로 드러난 비율은 0.18%에 불과했다.

인터넷 등에 이미 공개된 스포츠 공식 하이라이트 영상을 활용한 덕분에 이같이 길고 방대한 규모의 데이터셋을 비용 효율적으로 만들어낼 수 있었다. 또 하이라이트 영상이 원본의 '몇 분 몇 초'에서 나왔는지에 대한 타임스탬프 정보를 자동으로 찾아내는 매칭 알고리즘을 만들어냈다. 원본 영상과 하이라이트 영상의 프레임을 픽셀 단위(PSNR)로 비교해 가장 유사한 장면을 짝짓는 알고리즘이다. 알고리즘을 설계할 때 화면의 유사성뿐만 아니라 앞에서 찾은 장면과의 시간 순서까지 함께 따지도록 했다.

연구팀은 기존의 장면 분할 모델과 음성인식모델, 비전언어모델, 대규모 언어모델을 조합해 긴 영상에서도 하이라이트를 효과적으로 추출할 수 있는 'TF-SELECTOR'라는 AI 모델도 함께 개발했다. SVHighlights 벤치마크로 테스트했을 때, TF-SELECTOR는 대부분의 지표에서 기존 모델들보다 우수한 성능을 보였다. 차순위 모델과 비교해 가장 중요하다고 고른 장면이 실제 하이라이트인지를 평가하는 HIT@1은 2.50%p, 실제 하이라이트 수만큼 후보를 골랐을 때 얼마나 많이 찾아냈는지를 평가하는 HIT@K는 4.04%p 높았으며, 예측 구간과 정답 구간의 겹침을 나타내는 IoU도 2.95점 높았다.

김태환 교수는 "방송사가 이미 만들어 둔 하이라이트를 활용해 사람이 수 시간을 들여야 했던 정답 작업을 대체했으며, 같은 방식으로 데이터를 계속 늘려갈 수 있어 장시간 영상 분석 모델을 객관적으로 평가하고 성능이 더 나은 모델을 개발하는 데 도움이 될 것"이라고 말했다.

연구 결과는 지난달 9일 제주에서 열린 데이터마이닝분야 권위 국제학회인 ACM KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining) 채택됐다.

[email protected] 연지안 기자