0.04초 만에 응답…카카오, AI 판단 돕는 기술 공개

[파이낸셜뉴스] 카카오가 인공지능(AI) 에이전트의 의사결정 속도를 높이는 자체 개발 AI 모델을 오픈소스로 공개했다. 이용자의 요청에 따라 어떤 작업을 수행할지 빠르게 판단하는 기술로, AI 에이전트의 업무 처리 효율을 높이고 실제 서비스 적용을 확대한다는 구상이다.

6일 업계에 따르면 카카오는 텍스트와 이미지를 함께 분석해 의사결정을 지원하는 멀티모달 AI 모델 '카나나-2-v-디사이드'를 글로벌 AI 플랫폼 허깅페이스에 공개했다.

의사결정 모델은 이용자의 질문에 문장으로 답하는 일반적인 생성형 AI와 달리, 특정 조건이 맞을 가능성이나 여러 선택지 가운데 적합한 항목 등을 숫자로 제시하는 기술이다. AI가 답변을 생성한 뒤 필요한 정보를 다시 추출하는 과정을 줄여 다음 작업으로 빠르게 넘어갈 수 있도록 돕는다.

특히 여러 업무를 연속적으로 처리하는 AI 에이전트에 활용할 수 있다. AI 에이전트가 이용자의 요청을 수행하려면 어떤 도구를 사용하고 어떤 정보를 확인할지 단계마다 판단해야 하는데, 의사결정 모델이 이 과정에 필요한 결과를 제공하는 방식이다.

카카오는 자체 개발한 멀티모달 언어모델 '카나나-2-v-3b'를 기반으로 이번 모델을 개발했다. 텍스트뿐 아니라 이미지까지 분석할 수 있어 고객 문의 분류와 상품 이미지 판별, AI 에이전트의 도구 선택 등 다양한 업무에 적용할 수 있다.

예를 들어 고객이 파손된 상품 사진을 첨부해 교환을 요청하면 AI가 사진과 문의 내용을 분석해 상품 파손 여부와 문의 유형, 고객의 감정 상태 등을 판단한다. 이후 서비스는 해당 결과를 바탕으로 상담원에게 연결하거나 교환 절차를 안내할 수 있다.

판단 결과는 확률과 선택, 점수 등 3가지 형태로 제공한다. 특정 조건이 맞을 가능성을 계산하거나 여러 선택지 가운데 가장 적합한 항목을 고르고, 평가 기준에 따른 점수를 산출하는 방식이다.

카카오는 입력된 질문과 선택지를 숫자 형태의 데이터인 '벡터'로 변환해 비교하는 기술도 적용했다. 같은 선택지에 대한 데이터를 저장해 재사용할 수 있어 반복적인 판단 과정에서 연산량과 응답 시간을 줄일 수 있다는 설명이다.

처리 속도와 판단 정확도에서도 경쟁력을 확보했다고 카카오는 강조했다. 카카오에 따르면 엔비디아 H200 그래픽처리장치(GPU) 1장 기준 평균 응답 시간은 0.04초 이내로, 비교 대상인 GPT-6 루나보다 43배 빠른 것으로 나타났다.

한국어 1만5909문항으로 구성된 자체 평가 데이터셋 '카나나 디시전 벤치'와 공개 평가 데이터셋 '디시전 인덱스'에서도 비교 대상 모델 중 가장 높은 성능을 기록했다.

이번 모델에는 연구뿐 아니라 상업적 활용도 허용하는 '카나나 오픈 라이선스'를 적용했다. 국내외 기업과 개발자들이 별도 모델을 처음부터 개발하지 않고도 AI 에이전트 서비스에 해당 기술을 활용할 수 있도록 한 것이다.

카카오는 우선 웹 검색과 상품 카테고리 자동 분류 등 내부 프로젝트에 모델을 적용해 실제 서비스 환경에서 성능을 검증하고 개선할 계획이다. 장기적으로는 검색과 의사결정 기능을 하나의 모델로 통합하는 기술 개발도 추진한다.

[email protected] 장민권 기자