독파모 2차평가 성적표 일부 공개…모티프·SKT·LG 항목별 1위

평가 결과에 대한 투명성 고려해
1차 단계평가와 동일 수준서 공개

[파이낸셜뉴스] 과학기술정보통신부가 '독자 AI 파운데이션 모델(독파모)' 프로젝트 2차 단계평가의 항목별 1위 기업과 점수를 추가 공개했다. 글로벌 벤치마크에서는 모티프테크놀로지스, 국내 벤치마크에서는 SK텔레콤, 전문가 평가에서는 LG AI연구원이 각각 가장 높은 점수를 받았다.

20일 과기정통부가 공개한 독파모 2차 단계평가 세부 결과에 따르면 총 40점인 벤치마크 평가는 글로벌 '아티피셜 애널리시스 인텔리전스 지수(AAII)' 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 구성됐다.

AAII 평가에서는 모티프테크놀로지스가 25점 만점에 11.9점으로 4개 정예팀 가운데 가장 높은 점수를 받았다. 4개 팀 평균은 9.48점이었다. AAII는 에이전트와 코딩, 일반 능력, 과학적 추론 등을 평가하는 글로벌 벤치마크다.

반면 수학·지식·장문이해·안전성·신뢰성·한국어·지시이행 등 7개 분야를 평가한 NIA 벤치마크에서는 SK텔레콤이 15점 만점에 13.4점으로 1위를 차지했다. 4개 팀 평균은 13.05점이었다.

35점이 배정된 전문가 평가에서는 LG AI연구원이 29.5점으로 가장 높은 점수를 기록했다. 전체 평균 28.75점보다 0.75점 높았다. 전문가 평가는 산업계·학계·연구계 외부 전문가 10명이 개발 전략 및 기술, 개발 성과 및 계획, 국내외 AI 생태계 파급효과 등을 종합적으로 평가하는 방식으로 진행됐다.

사용자 평가에서는 평가단에 따라 1위가 갈렸다. AI 스타트업 대표 등 49명이 참여한 전문 사용자 평가에서는 SK텔레콤이 15점 만점에 11.6점으로 최고점을 받았다. 반면 일반 국민 185명이 참여한 평가에서는 LG AI연구원이 10점 만점에 7.6점으로 가장 높은 점수를 기록했다. 두 평가를 합친 사용자 평가의 배점은 총 25점이다.

앞서 과기정통부는 지난 18일 2차 단계평가 결과를 발표하면서 항목별 1위 기업과 점수를 공개하지 않았다. 1차 단계평가 당시 항목별 1위 공개가 해당 기업에는 인식 제고 효과를, 나머지 기업에는 낙인 효과를 줄 수 있다는 지적을 고려했다는 설명이다.
다만 평가 과정과 결과의 투명성을 높여야 한다는 지적이 제기되자 과기정통부는 이틀 만에 공개 범위를 확대했다. 과기정통부는 "평가 결과 공개에 따른 일부 기업의 예기치 않은 직·간접적 피해와 평가 결과에 대한 투명성을 균형 있게 고려했다"며 "1차 단계평가 발표 때와 동일한 수준에서 평가 항목별 1위 기업과 그 점수를 공개하기로 했다"고 설명했다.

한편 이번 2차 평가 결과 업스테이지와 SK텔레콤, LG AI연구원 등 3개 팀이 다음 단계에 진출했으며 모티프테크놀로지스는 탈락했다.

[email protected] 최혜림 기자