LGU+, AI 토큰 비용 90% 줄이는 기술 확보…내년 B2B 사업 본격화

자체 기술로 AI 에이전트 토큰 사용량 90%↓
질문 난이도 따라 모델 선택해 비용 30% 낮춰
익시오 AI 모델 크기 3분의 1 축소하며 경량화
비용 절감 노하우 결합해 내년 B2B 사업화 공략

[파이낸셜뉴스] LG유플러스가 인공지능(AI) 서비스 성능을 유지하면서 운영 비용을 낮추는 '토큰 최적화' 기술을 앞세워 기업간거래(B2B) 시장 공략에 나선다. 자체 검증에서 일부 AI 업무의 운영 비용을 90%가량 절감한 것을 바탕으로 내년부터 기업 고객을 대상으로 관련 사업을 추진할 계획이다.

LG유플러스는 지난 12일 서울 서대문구 위드스페이스에서 'AI 토큰 최적화 스터디'를 열고 이 같은 계획을 공개했다.

AI 토큰은 AI가 정보를 처리하고 답변을 생성할 때 사용하는 기본 단위다. 최근 여러 단계를 거쳐 업무를 수행하는 AI 에이전트가 확산하면서 기업의 토큰 사용량과 운영 비용 부담도 커지고 있다.

이에 LG유플러스는 AI 에이전트의 작업 효율 개선과 모델 경량화 등 AI 운영 비용을 낮추기 위한 기술 개발에 주력하고 있다.

대표적인 기술은 AI 에이전트의 불필요한 작업 반복을 줄이는 '하네스 엔지니어링'이다. 질문 유형에 따라 작업 경로를 설계하고 필요한 도구만 활용하도록 해 토큰 낭비를 줄이는 방식이다. 회사는 내부 코딩 에이전트 등을 대상으로 한 개념검증(PoC)에서 토큰 사용량을 90% 이상 줄인 사례를 확보했다.

질문 난이도에 따라 AI 모델을 자동 선택하는 '다이내믹 쿼리 라우팅' 기술도 개발 중이다. 단순 요약에는 소형 모델을, 복잡한 추론에는 고성능 모델을 활용한다. 내부 테스트에서는 일반 질의 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 낮췄다.

이상엽 LG유플러스 최고기술책임자(CTO)는 "단순히 토큰 단가를 얼마나 줄였는지가 아니라 실제 고객이 하려는 업무를 얼마나 최적의 비용으로 처리할 수 있는지를 지향하고 있다"고 강조했다.

AI 모델 경량화와 답변 생성 속도 개선에서도 성과를 냈다. LG유플러스는 데이터 정밀도를 낮추는 '양자화' 기술 등을 활용해 통화 AI 서비스 '익시오'의 온디바이스 모델 크기를 기존 2.4~3GB에서 약 800MB로 줄였으며, 비교 대상 클라우드 모델 대비 95% 이상 성능을 확보했다. 또 작은 모델이 생성한 답변을 큰 모델이 검증하는 '추측 디코딩' 기술 등을 통해 토큰 생성 속도를 2배 이상 높였다. 관련 연구 성과는 세계적 AI 학술대회인 '뉴립스(NeurIPS)'에 논문 2편이 채택됐다.

LG유플러스는 통화 AI 서비스 '익시오' 출시 초기 LG AI연구원의 온디바이스 모델과 구글 제미나이를 병행 활용했지만, 이후 자체 AI 모델과 엑사원 등 모델별 활용 비중을 조정해 운영 비용을 낮췄다. 연말 상용화 예정인 카카오의 '모두의 AI'에서도 AI 모델 구동·운영을 맡아 최적화 기술을 고도화하고 있다. LG유플러스는 익시오와 AI 고객센터(AICC), 사내 AI 전환(AX) 과정에서 축적한 기술과 운영 경험을 바탕으로 내년부터 기업 고객 대상 토큰 최적화 사업을 추진할 계획이다.

이 CTO는 "글로벌 수준의 모델 경량화·추론 기술과 AI 업무 수행 과정을 반영한 운영 노하우를 결합해 내년부터 기업 고객에게 비용 효율적인 AI 서비스를 제공하겠다"고 말했다.

[email protected] 최혜림 기자