최고 성능에도 토큰 비용 50% 절감…'라이너 모델 API' 출시
[파이낸셜뉴스] 라이너가 인공지능(AI) 오케스트레이션 솔루션 '라이너 모델 API'를 출시했다. 고성능 모델 답변 품질을 유지하면서 대형언어모델(LLM) 토큰 비용은 50% 이상 절감할 수 있도록 설계됐다. 기업이 인프라 부담에 불필요하게 지출하는 비용을 절감하겠다는 목표다.
15일 업계에 따르면 현재 AI 시스템을 구축하는 대부분의 기업은 답변 품질을 위해 고가의 프런티어급 모델 하나로 모든 사용자 질문을 일괄 처리하는 방식을 취하고 있다. 하지만 실제 유입되는 질문 난이도가 제각각임에도 모두 상위 모델로 처리하다 보니 불필요한 인프라 비용이 급증하는 구조적 한계가 존재한다.
라이너는 저비용 경량 모델의 품질 문제와 프런티어급 모델의 높은 도입 비용 사이에서 고민하는 기업들에 주목했다. 라이너 모델 API는 상위급 모델 수준의 답변 정확도를 유지하면서도 토큰 비용을 50% 이상 절감했다. 복잡한 로직 구현 없이 기존 API 교체만으로 즉시 적용할 수 있다.
라이너는 사용자들의 실사용 환경에서 축적한 성능 검증 경험을 통해, 질문 유형별로 최적의 모델을 정밀하게 선별한다. 공개 벤치마크 테스트만으로는 실제 사용자의 다양하고 복잡한 질문 패턴을 소화하기 어렵다는 한계를 보완했다.
라이너의 실사용 환경 자체 데이터 평가 결과, 고성능 모델로 배정된 질의의 비중은 약 43%로 나타났다. 코딩, 수학, 복합 추론이 필요한 고난도 질의는 상위 모델로 배정해 정확도를 극대화하고, 나머지 57%의 일반 질의는 효율적인 모델로 배분해 정답률 손실 없이 비용 절감 효과를 높였다.
김진우 라이너 대표는 "모든 질문을 상위 모델로만 처리하는 방식은 간단한 계산에 매번 슈퍼컴퓨터를 동원하는 것과 같다"며 "기업들이 비용 부담과 모델 선택의 피로감에서 벗어나 핵심 업무 혁신에만 몰입할 수 있는 환경을 만들겠다"고 말했다.
[email protected] 장민권 기자
