경량모델 '카나나-2' 안전성 글로벌 수준 이상
카카오 자체 플랫폼 평가 결과
구글 젬마보다 높은 점수 받아
카카오가 오픈소스로 공개한 경량언어모델(SLM) '카나나-2 시리즈'의 안전성 평가를 진행한 결과 주요 글로벌 모델 대비 종합 1위를 기록했다고 18일 밝혔다.
카카오는 자체 구축한 '인공지능(AI) 안전성 평가 플랫폼'을 통해 지난달 28일 허깅페이스에 오픈소스로 공개한 '카나나-2-1.3B-Instruct', '카나나-2-3B-Instruct' 두 모델을 대상으로 유해성, 편향성 등을 체계적으로 측정했다. 이번 평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), KAIST, 카카오 등이 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'가 활용됐다.
AssurAI는 총 35개 리스크 카테고리 내 9560건의 평가 항목을 포함하며, 카카오는 이를 △사회적 리스크 △성적 콘텐츠·아동보호 △범죄·불법 행위 △폭력 △권리 침해 등 5개의 대분류로 재편해 집계했다. 또 사전 정의된 채점 기준에 따라 AI 모델이 응답을 평가하는 방식을 적용, 대규모 평가에서도 주관적 편차를 최소화하고 동일한 기준으로 모델 간 비교가 가능하도록 했다는 설명이다.
이번 평가는 유사 파라미터 규모의 글로벌 모델인 구글의 '젬마', 알리바바의 '큐웬'을 비교 대상으로 설정했다. 카나나 모델들은 종합 점수 0.70을 얻으며 두 모델 모두 비교군 대비 최고 수준의 안전성을 입증했다는 평가다.
대분류별 평가에서 카나나 1.3B 모델은 범죄·불법 행위 영역에서 높은 우위를 보였으며, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델들을 크게 앞섰다.
주원규 기자
