LG유플러스, 토큰 최적화로 전기 덜 먹고 응답 빠른 AI 만든다
옵트에이아이와 토큰 최적화 기술 공동 연구
확보한 기술 자사 AI 서비스에 단계적 적용
[파이낸셜뉴스] LG유플러스가 인공지능(AI) 모델 최적화 전문기업과 손잡고 AI 운영 효율을 높이는 '토큰 최적화' 기술 확보에 나선다. AI 서비스에 필요한 그래픽처리장치(GPU)와 전력 사용량을 줄이면서 응답 속도와 서비스 품질을 높이는 것이 목표다.
LG유플러스는 옵트에이아이와 AI 운영 효율을 높이는 '토큰 최적화' 기술 확보에 나선다고 2일 밝혔다. 토큰은 AI가 이용자의 질문을 이해하고 답변을 생성할 때 처리하는 데이터의 기본 단위다. 양사는 AI 모델을 가볍게 만들거나 연산 과정을 개선해 처리 효율을 높일 계획이다.
LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 담당한다. 옵트에이아이는 AI 모델을 더 가볍고 빠르게 구동하는 기술을 연구·개발한다. GPU와 전력 사용량을 줄이면서 응답 속도와 서비스 품질을 높이는 것이 목표다.
이들은 앞서 스마트폰 등 기기 자체에서 AI를 구동하는 온디바이스 AI 분야에서도 협력했다. '엑사원(EXAONE)' 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 신경망처리장치(NPU)에서 구동하도록 했다. LG유플러스에 따르면 기존 중앙처리장치(CPU) 방식과 같은 수준의 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄였다.
이번에는 공동 연구 범위를 서버 GPU 환경으로 확대한다. 현재 진행 중인 연구에서는 AI가 답변을 생성하는 연산 과정을 실제 서비스 환경에 맞게 개선해, 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높였다는 설명이다. LG유플러스는 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라 운영에 단계적으로 적용할 방침이다.
양사는 지난 1일 'Efficient AI 테크 세미나'도 공동 개최했다. 퓨리오사AI, 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산·학·연 전문가들이 참여해 AI 모델 최적화와 반도체, 실제 서비스 적용 사례를 공유했다.
이상엽 LG유플러스 최고기술책임자(CTO)는 "AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다"며 "옵트에이아이를 비롯한 다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다"고 말했다.
[email protected] 윤홍집 기자
