500개 AI 모델 한곳에서 이용한다…KT 통합플랫폼 ‘토큰팩토리’ 공개

모델 선택·비용관리·보안 등 지원
토큰 사용량 최대 25%까지 줄여

KT가 인공지능(AI) 모델 500여개를 한 곳에서 이용하고, 업무에 적합한 모델을 자동으로 선택해 비용까지 절감할 수 있는 AI 플랫폼을 선보였다. 질문의 난이도와 비용 등을 고려해 최적의 모델을 연결하고 토큰 사용량을 최대 25% 줄이는 것이 핵심이다. 기업들이 다양한 AI 모델을 활용하는 과정에서 발생하는 비용과 보안 부담을 낮춰 인공지능 전환(AX) 시장 공략에 속도를 낸다는 전략이다.

■토큰 사용량 최대 25% 줄여

KT는 27일 서울 종로구 광화문 웨스트빌딩에서 AI 모델 선택부터 비용 관리, 보안 기능까지 제공하는 'KT 토큰팩토리'를 공개하고 오는 30일 공식 출시한다고 밝혔다. 토큰팩토리는 국내외 AI 모델 500여개를 한곳에서 이용할 수 있는 플랫폼으로, 모델 선택과 이용량 확인, 비용 관리, 결제까지 통합 지원한다. 초기에는 다양한 AI 모델을 활용하면서 비용을 효율적으로 관리하려는 기업 고객을 중심으로 서비스를 제공한다.

KT는 통신사업에서 축적한 연결·과금·보안 역량을 AI 서비스에 접목했다. 기업들이 여러 AI 모델을 개별적으로 도입하고 관리하는 부담을 줄이면서 업무 특성에 맞는 모델을 효율적으로 활용할 수 있도록 한 것이다. AI 모델마다 번역·요약·코딩·추론 등 강점과 이용 요금이 다른 만큼, 기업이 필요한 성능을 확보하면서 비용을 절감하는 데 초점을 맞췄다.

핵심 기술은 KT가 자체 개발한 '오토 모델 라우터'다. 이용자의 질문 유형과 난이도, 요구되는 답변 품질, 비용 등을 분석해 적합한 AI 모델을 자동으로 선택한다. KT에 따르면 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나'에서 종합 1위를 기록했다. KT는 모델 자동 선택과 프롬프트 압축 기술을 통해 AI 이용에 필요한 토큰 사용량을 최대 25% 줄일 수 있다고 설명했다.

■국내 인프라서 추론…보안 기능으로 기업 수요 공략

KT는 데이터 주권과 보안을 주요 기능으로 내세웠다. KT는 국내 데이터센터에서 AI 추론 서비스를 제공하고, KT 자체 모델과 국내외 오픈웨이트 모델 등을 함께 활용할 수 있는 환경을 마련했다. 고객이 입력한 프롬프트의 개인정보·민감정보와 유해 표현을 점검하고, AI가 생성한 답변도 자체 가드레일로 확인한다.

KT는 한국어 환경에 맞춘 가드레일을 지속적으로 고도화하고, 앞으로 고객별 업무환경과 보안 요구에 따라 탐지 대상과 차단 수준을 조정할 수 있도록 기능을 확대할 계획이다.

KT는 글로벌 AI 모델 마켓플레이스 사업자인 오픈라우터와 국내 최초로 공식 파트너십을 맺고, 플랫폼에 연계할 모델 500여개를 확보했다고 밝혔다. 오픈라우터의 글로벌 모델과 KT의 국내 인프라·소버린 AI 모델을 연결하고, KT가 국내에서 제공하는 AI 모델의 해외 유통도 추진한다.

박상원 KT AX사업부문장 전무는 "토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.

[email protected] 윤홍집 기자