IT 인터넷/SNS

독파모 4강 글로벌 AI 벤치마크 결과 '반전'...모티프·업스테이지 1·2위

주원규 기자
파이낸셜뉴스
글로벌 AI 평가기관 아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)' 평가 결과. 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에 참여 중인 4개 모델 가운데 모티프테크놀로지스의 '모티프 3'가 47점으로 가장 높은 점수를 기록했다. 업스테이지 '솔라 오픈 2 250B'는 37점, SK텔레콤 'A.X K2'는 35점, LG AI연구원 'K-엑사원 2.0'은 31점을 받았다. 사진=뉴시스
글로벌 AI 평가기관 아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)' 평가 결과. 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에 참여 중인 4개 모델 가운데 모티프테크놀로지스의 '모티프 3'가 47점으로 가장 높은 점수를 기록했다. 업스테이지 '솔라 오픈 2 250B'는 37점, SK텔레콤 'A.X K2'는 35점, LG AI연구원 'K-엑사원 2.0'은 31점을 받았다. 사진=뉴시스

[파이낸셜뉴스] 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2차 평가에서 글로벌 성능 지표가 공개됐다. 모티프테크놀로지스와 업스테이지가 글로벌 AI 성능 평가 지수에서 각각 1·2위를 차지하면서 스타트업들이 대기업을 앞서는 결과가 나왔다.

13일 정보기술(IT) 업계에 따르면 글로벌 AI 벤치마크 '아티피셜 애널리시스 인텔리전스 지수(AAII)'에서 독파모 4개 참여사 모델의 최신 점수는 모티프테크놀로지스 '모티프 3'가 47점으로 가장 높았다. 이어 업스테이지 '솔라 오픈2'가 37점, SK텔레콤 '에이닷엑스(A.X)-K2'가 35점, LG AI연구원 'K-엑사원(EXAONE) 2.0'이 31점 순으로 나타났다.

모티프테크놀로지스와 업스테이지의 모델의 매개변수가 SK텔레콤, LG AI연구원에 비해 상대적으로 작다는 점을 고려하면 의외의 결과라는 평이 나온다.

독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지하며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 담당한다. 나머지 배점은 전문가 평가(35점)와 사용자 평가(25점)로 구성된다.

정부는 12일 마감한 국민 평가를 마지막으로 독파모 2차 평가 결과를 조만간 발표할 예정이다. 최종 평가에서 4개 참여사 중 3팀이 생존해 다음 단계로 진출한다.
한편, AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수 방식이다. 모델의 전반적인 지적 능력을 하나의 수치로 비교하는 데는 유용하나, 어떤 벤치마크를 묶느냐에 따라 점수 변동이 크다.

한국어를 포함한 다국어 이해 능력이나 특정 산업 과업에서의 성능, 운영 효율 등은 AAII만으로 가늠하기 어렵다는 분석도 나온다.

[email protected] 주원규 기자


#글로벌 AI #모티프테크놀로지스 #독파모 #벤치마크 #업스테이지
※ 저작권자 © 파이낸셜뉴스, 무단전재-재배포 금지

기자 정보