사번받은 AI, 일하는 비용 줄인다… SKT '토큰 효율화' 승부

정재헌 대표 'AX J커브' 속도전
업무 보조 넘어 구성원들과 협업
연산량 급증하며 비용도 늘어나
경량·고성능모델 중 선택적 활용
생산성 높이며 전략적 대응나서

인공지능(AI) 활용이 기업 업무 전반으로 확산하면서 AI에 투입하는 비용 대비 성과를 높이는 '토큰 효율'이 AI전환(AX) 시장의 경쟁력 가늠자로 부상하고 있다.

AI 전환(AX) 사업 확장과 사내 적용에 적극 나서고 있는 SK텔레콤도 AI 에이전트에 사번과 직무를 부여하는 등 조직 운영 방식을 재설계하며 AI 활용을 실질적인 생산성 향상으로 연결하는 데 주력하고 있다.

29일 정보기술(IT) 업계에 따르면 SK텔레콤은 지난 3월 전 구성원이 직접 AI 에이전트를 제작하는 '1인 1 AI 에이전트' 프로젝트를 추진한 데 이어 최근 AI 에이전트에 사번과 소속·직무·권한을 부여했다. AI를 단순 업무 보조 도구가 아닌 구성원과 협업하는 업무 주체로 활용하기 위한 조치다.

■AX 적용때 비용 통제 이슈 부상

SK텔레콤의 이 같은 행보는 AI 도입 자체보다 투입 비용 대비 성과를 중시하는 글로벌 'AX 시프트' 흐름과 맞닿아 있다. AI가 단순 질의응답을 넘어 복잡한 업무를 수행하면서 연산량과 토큰 사용량이 급증하자 기업들이 AI 활용 효율을 높이는 데 주목하고 있는 것이다. 토큰은 AI가 텍스트 등을 처리하는 기본 단위로, 사용량에 따라 비용이 발생한다.

글로벌 AI 모델 마켓플레이스 1위 사업자인 오픈라우터에 따르면 주간 토큰 처리량은 지난해 1월 약 5000억개에서 올해 9월 128조4000억개로 약 257배 증가했다. AI 요청당 평균 입력 토큰 수도 2024년 초 약 1500개에서 지난해 말 약 6000개로 4배 늘었다. AI 활용 범위가 넓어지고 처리하는 업무가 복잡해지면서 비용 관리의 중요성도 커지고 있다는 분석이다.

이에 기업들은 업무 난도에 따라 AI 모델을 달리 사용하는 '모델 라우팅'을 비용 효율화 방안으로 활용하고 있다. 간단한 업무에는 저비용 경량 모델을, 복잡한 추론에는 고성능 모델을 투입해 불필요한 비용을 줄이는 방식이다. 앤스로픽은 클로드를 하이쿠(경량·저비용), 소넷(중간), 오퍼스(고성능), 페이블(초고성능) 등 단계별로 구성해 기업이 업무 유형에 맞게 모델을 고를 수 있도록 지원한다. 오픈AI도 기존 최상위 모델인 'GPT-6 아스트라'와 거의 동일한 성능을 제공하면서도 비용은 5분의 1로 낮춘 'GPT-6.1 솔'을 내놨다. 아마존웹서비스(AWS)은 완전 관리형 생성형 AI 서비스 베드록을 통해 100개 이상의 AI 모델 중 업무에 적합한 모델을 선택할 수 있도록 지원한다.

■AX, 생산성 향상·BM 혁신 이어져야

SK텔레콤도 이러한 흐름에 맞춰 토큰 효율성이 높은 AI 에이전트를 전사로 확산하는 등 비용 대비 생산성을 높이는 방향으로 AX 전략을 구체화할 것으로 전망된다. 정재헌 SK텔레콤 대표는 그간 AI 도입 초기 생산성이 일시적으로 하락한 뒤 조직과 업무 재설계를 거쳐 상승하는 'AX의 J커브'를 강조해왔다.

AI 기술 도입만으로 생산성이 높아지는 것이 아니라 업무 방식과 조직 구조의 변화가 뒷받침돼야 한다는 취지다.

SK텔레콤 관계자는 "AI 에이전트는 사번과 소속·직무·권한을 부여받고, 구성원은 AI와 함께 기획·개발·디자인을 넘나드는 멀티 롤 방식으로 일하고 있다"며 "사내 AI 개발 플랫폼 통합과 보안 체계 고도화로 AX 확산 기반을 강화하고, 이를 조직 생산성 향상과 비즈니스 모델 혁신으로 이어갈 계획"이라고 말했다.

[email protected] 최혜림 기자