카카오 경량AI·전문가 혼합모델 2종 공개

"GPT-4o와 견줄 정도로 고성능"

카카오는 오픈소스 커뮤니티 허깅케이스에 국내 공개 모델 중 최고 성능의 경량 멀티모달 언어모델과 함께 국내 최초로 전문가 혼합 모델(MoE)을 오픈소스로 공개했다고 24일 밝혔다. 이미지 정보 이해 및 지시 이행 능력을 갖춘 경량 △멀티모달 언어모델 '카나나-1.5-v-3b'와 MoE(Mixture of Experts) 언어모델 '카나나-1.5-15.7b-a3b'이다.

'카나나-1.5-v-3b'는 텍스트 뿐만 아니라 이미지 정보도 다루는 멀티모달 언어모델이다.

카카오 측은 '카나나-1.5-v-3b'이 경량 모델임에도 이미지로 표현된 한국어와 영어 문서 이해 능력이 글로벌 멀티모달 언어모델 GPT-4o와 견줄 수 있을 정도로 뛰어나다고 설명했다. 한국어 벤치마크에서 유사 사이즈의 국내외 공개 모델과 비교한 결과 최고 점수를 기록했고, 다양한 영어 벤치마크에서 해외 오픈소스 공개모델과 비교했을 때도 유사한 수준의 성능을 보였다.

MoE 모델인 '카나나-1.5-15.7b-a3b'은 특정 작업에 최적화된 일부 전문가 모델만 활성화되는 방식으로 효율적인 컴퓨팅 자원 활용과 비용 절감이 강점이다. 활성화되는 파라미터가 3B에 불과하지만 성능은 '카나나-1.5-8B'와 동등하거나 뛰어난 수준이다.

카카오의 MoE 모델은 고성능 AI 인프라를 저비용으로 구축하고자 하는 기업이나 연구 개발자들에게 도움을 제공할 수 있다. 특히 추론 과정에서 제한된 파라미터만 사용하는 구조적 특성 덕분에 저비용, 고효율 서비스 구현에 유리해 활용도가 높다. 김병학 카카오 카나나 성과리더는 "비용 효율성과 성능이라는 유의미한 기술 개발의 성과를 거둔 것으로, 서비스 적용과 기술 자립이라는 두 가지 측면의 목표에 부합하는 결과물"이라고 말했다.

[e-mail] 주원규 기자