"AI모델 골라주고 비용관리까지"…KT, '토큰팩토리' 공개
AI 모델 500여개 통합…사용량 확인·결제 한곳에서
라우팅·프롬프트 압축으로 토큰 최대 25% 절감
30일 출시…기업 고객부터 서비스 확대
[파이낸셜뉴스] KT가 인공지능(AI) 모델 선택부터 이용량 확인과 비용 관리, 보안 기능까지 한곳에 모은 AI 플랫폼을 선보였다. 모델마다 성능과 비용이 다른 만큼 업무에 맞는 모델을 골라 쓰도록 돕고, 토큰 사용량을 줄여 기업의 인공지능 전환(AX) 부담을 낮추겠다는 구상이다.
KT는 토큰팩토리를 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스에 적용한 플랫폼으로 소개했다. 여러 AI 모델을 연결하고 사용량에 따라 비용을 계산하는 동시에, 데이터 보호와 보안 기능을 더했다는 설명이다. AI 모델마다 번역·요약·코딩·추론 등 강점과 가격이 다른 만큼, 업무에 적합한 모델을 고르는 일이 기업의 AX 과제로 떠오르는 추세를 감안한 것이다.
토큰팩토리의 핵심 기능은 KT가 자체 개발한 '오토 모델 라우터'다. 질문의 유형과 난이도, 요구 품질, 비용, 고객이 허용한 모델 범위 등을 고려해 적합한 AI 모델을 자동으로 선택한다. 단순한 업무에는 비교적 가벼운 모델을, 복잡한 분석에는 고성능 모델을 연결하는 방식이다.
KT는 이 기술이 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나'에서 종합 1위를 기록했다고 밝혔다. 한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 질문의 의미와 답변 품질을 유지하면서 반복 표현 등을 줄여 입력 토큰 수를 낮춘다는 설명이다.
KT는 모델 라우팅과 프롬프트 압축을 통해 AI 이용에 필요한 토큰을 최대 25% 절감할 수 있다고 설명했다. AI 사용이 늘수록 이용 비용과 운영 부담도 커지는 만큼, 업무별로 모델과 토큰 사용을 최적화해 기업의 도입 문턱을 낮추겠다는 전략이다.
KT는 한국어 환경에 맞춘 가드레일을 지속적으로 고도화하고, 앞으로 고객별 업무환경과 보안 요구에 따라 탐지 대상과 차단 수준을 조정할 수 있도록 기능을 확대할 계획이다. 보안과 데이터 관리가 중요한 기업·산업 현장에서 다양한 AI 모델을 활용하도록 지원한다는 취지다.
KT는 글로벌 AI 모델 마켓플레이스 사업자인 오픈라우터와 국내 최초로 공식 파트너십을 맺고, 플랫폼에 연계할 모델 500여개를 확보했다고 밝혔다. 오픈라우터의 글로벌 모델과 KT의 국내 인프라·소버린 AI 모델을 연결하고, KT가 국내에서 제공하는 AI 모델의 해외 유통도 추진한다.
AI 코딩·에이전트 분야의 유라클과 캐스트AI, 기업용 AI 워크스페이스 분야의 타임리 등과도 협력을 확대한다. 업스테이지와 다음 등 '모두의 AI' 컨소시엄 참여사들과 협력해 인프라부터 모델, 서비스까지 이어지는 생태계를 구축한다는 계획이다.
박상원 KT AX사업부문장 전무는 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.
[email protected] 윤홍집 기자
