AAII 1위에도 탈락한 모티프…"평가 결과 공개·재심의해야"

"벤치마크·전문가 평가 엇갈린 내용 공개해야"
평가 세부 점수·배점 산정 근거 등 재심의 요청
"이의 제기는 재선정 요구 아냐" 선 그어

[파이낸셜뉴스] 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2차 평가에서 탈락한 모티프테크놀로지스가 당초 이의신청을 하지 않겠다던 입장을 바꿔 과학기술정보통신부에 이의를 제기했다.

과기정통부가 "모티프가 전문가·사용자 평가가 상대적으로 낮았다"고 탈락 이유를 설명한데 대해, 세부 평가 내용을 공개적으로 확인해 달라는 것이다. 그러나 모티프는 "이의 제기는 독파모 프로젝트 재선정을 요구하기 위한 것이 아니다"고 선을 그었다.

모티프는 27일 입장문을 내고 독파모 2차 평가 결과에 대한 이의신청을 과기정통부에 제출했다고 밝혔다.

모티프는 이의신청에서 전문가·사용자 평가의 기준과 항목별 평가 내용 등을 공개하고 결과를 재심의해 달라고 요청했다.

지난 18일 평가 결과 발표 직후에는 이의를 제기하지 않겠다는 입장이었지만, 열흘 만에 방침을 바꾼 것이다.

모티프는 "평가 결과 자체는 존중하고 받아들였다"면서도 "이후 과기정통부가 모티프3는 AAII 점수만 높았을 뿐, 전문가·사용자 평가에서 문제가 있었다고 설명하고, 다음 평가에서 벤치마크 비중을 낮추겠다며 새로운 평가 방향을 제시했다"고 이의 제기 의 배경을 설명했다.

과기정통부가 모티프 탈락 이유를 설명하면서 벤치마크 평가만 높고, 전문가·사용자들의 실제 평가는 낮았다고 공개하면서 모티프가 앞으로 시장에서 경쟁하는데 사용성에 문제가 있는 것으로 오인될 수 있다는 우려가 반영된 것으로 보인다.

독파모 2차 평가는 벤치마크 평가 40점(AAII 25점·NIA 15점), 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 모티프는 글로벌 AI 모델 종합 성능 지표인 아티피셜 애널리시스 지능지수(AAII)에서 참여 모델 중 가장 높은 47점을 기록했다. 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원은 31점이었다. 모티프에 따르면 모티프3는 모델 업체 기준 글로벌 10위이자 미국과 중국을 제외하면 1위에 해당한다.

그러나 모티프는 전문가·사용자 평가를 합산한 종합 점수에서는 최하위에 머물러 3차 진출에 실패했다.

모티프는 AAII가 성능과 사용성을 함께 다루는 종합 지표인 만큼 벤치마크 결과와 종합평가가 엇갈린 구체적인 이유를 공개해야 한다고 주장했다.

벤치마크에서 나타난 성능 차이가 최종 배점에 충분히 반영되지 않았다는 지적도 내놨다. AAII 1위인 모티프와 4위 LG AI연구원의 원점수 차이는 16점이지만, 25점 만점으로 환산하면 격차가 4점으로 줄어든다는 설명이다.

모티프는 "파운데이션 모델의 가치는 챗봇의 사용성만이 아니라 여러 분야로 확장할 수 있는 기반 성능에서 나온다"며 "벤치마크 비중을 낮추기보다 실제 성능 차이가 배점에 적절히 반영되도록 해야 한다"고 강조했다.

사용자 평가가 개발사의 브랜드 인지도에 영향을 받았을 가능성도 언급했다. 모티프는 "대기업과 스타트업의 모델을 일반 사용자가 평가할 때 개발사를 사전에 알면 선입견이 작용할 수 있어 블라인드 평가를 요청했다"며 "벤치마크의 성능 격차가 사용자 평가를 거치며 크게 달라진 만큼 평가 방식과 조건이 결과에 어떤 영향을 미쳤는지 납득할 만한 근거를 제시해야 한다"고 말했다.

다만 모티프는 이번 이의 신청이 탈락 결과를 뒤집어 3차 평가에 참여하기 위한 것은 아니라고 선을 그었다.

모티프는 "이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다"며 "평가 과정에 대한 공개적인 논의를 통해 사업이 추구하는 파운데이션 모델의 모습과 가치를 명확히 하자는 취지"라고 설명했다.
과기정통부는 LG AI연구원, SK텔레콤, 업스테이지 등 3차 평가에 진출한 3개 팀 가운데 내년 초 최종 2개 팀을 선정할 예정이다. 과기정통부는 2차 평가에서 제기된 벤치마크 신뢰성과 배점 조정 문제 등을 검토해 3차 평가 기준을 마련할 것으로 보인다.

류제명 과기정통부 제2차관은 지난 18일 2차 평가 결과 발표 당시 "이의신청 절차를 거쳐 1·2차 평가 과정에서 추가로 보완할 점이 있는지 살펴보겠다"며 "3개 기업과 협의해 가능한 한 빠른 시점에 3차 평가 계획을 발표하겠다"고 밝힌 바 있다.

[email protected] 최혜림 기자