추론 복잡해져 운영비 폭증… AI 이용 늘수록 이익은 감소 [AI의 역습]

(2) 이용자 증가'역설'
에이전트·추론·멀티모달 확산에
작업당 토큰 소비량 5~30배 증가
막대한 연산 수요에 운영비 급증
글로벌 AI업계 '요금 정책' 개편
MS, 학생 요금제 신규 가입 중단
오픈AI, 무료 이용자에 광고 검토

#. 판교 소재의 A기업은 지난달 초 앤스로픽의 생성형 AI 서비스 클로드 코드를 사용하던 중 할당된 토큰 한도를 초과해 업무가 잠시 마비됐다. AI 에이전트로 인해 사용량이 급격히 늘며 예상보다 빠르게 토큰이 소진된 탓이다. 결국 A사는 급히 추가 결제한 후에야 업무를 재개할 수 있었다. 인근의 B기업도 최근 AI 토큰량 청구서 비용이 크게 늘어나자 사내에 토큰 사용 효율화에 대한 공지를 내리는 등 대응책 마련에 나섰다. B기업 관계자는 "AI 에이전트 발전 등과 AI 업무 의존도가 높아지면서 토큰 사용량이 급증하는 추세"라고 설명했다.

인공지능(AI) 모델의 토큰 가격은 낮아지고 있지만 정작 총운영비용이 폭증하는 이른바 '토큰플레이션(토큰+인플레이션)' 현상이 심화하고 있다. AI 에이전트와 추론 기능의 고도화로 1회 작업당 소비되는 토큰이 수십배 치솟은 데 따른 것이다. 연산 인프라 과부하에 직면한 글로벌 AI 업계가 기존 요금체계 개편에 돌입한 가운데 기업들의 실질적인 경영 부담이 늘어나고 있다는 분석이 나온다.

■비용 줄어도 이용량 폭증

27일 정보기술(IT) 업계에 따르면 글로벌 시장조사기관 가트너는 최근 보고서를 통해 오는 2030년까지 AI 추론 비용이 현재 대비 90% 이상 감소할 것으로 내다봤다. 1조개 이상의 파라미터를 가진 초거대 모델을 기준으로 보면 2022년과 비교해 최대 100배에 달하는 비용 효율성 개선이 이뤄질 것으로 분석됐다. 이는 반도체 자체의 성능 향상과 더불어 모델 설계 구조의 효율화, 추론 특화 칩의 전면적 도입 등에 따른 결과다.

다만 기술 발전으로 개별 연산 단가가 떨어져도 기업과 개인이 체감하는 전체 AI 운영비용은 증가할 전망이다. 실제 글로벌 빅테크들은 출혈경쟁을 지속하면서 토큰 단가를 지속적으로 낮추고 있다. 운영비용 상승의 주범은 폭발적으로 늘어난 사용량이다. 단순 문답에 그치던 AI가 복합적 추론을 거쳐 스스로 작업을 수행하는 AI 에이전트로 진화함에 따라, 작업 1회당 토큰 사용량이 기존 대비 최소 5배에서 최대 30배까지 폭증했다. 토큰의 단가 하락분을 상쇄하고도 남을 만큼 막대한 연산 수요가 발생하며 총비용이 덩달아 뛰고 있는 것이다. 가트너는 "실제 토큰 단가는 빠르게 떨어지고 있지만 이용량 증가 속도가 이를 훌쩍 넘어서는 구조가 형성되고 있다"며 "기본 기능은 저렴해지더라도 고성능 AI를 위한 인프라는 여전히 제한된 자원으로 남아 있어 비용 압박을 지속할 것"이라고 짚었다.

실제 최근 오픈AI의 챗GPT와 앤스로픽 클로드 등 주요 생성형 AI 서비스에서 잇달아 발생한 접속장애는 단순한 일시적 트래픽 증가가 아닌 연산 수요 폭증이 한계에 달했음을 보여주는 신호로 풀이된다.

■앤스로픽 등 요금정책 바꾸나

인프라 비용이 급증하자 AI 기업들도 요금정책을 수정하고 있다.

획일적인 무제한 정액제를 유지하는 것은 사실상 불가능하다는 판단에 사용량 기반 체계 요금제로 구조개편을 빠르게 진행 중이다. 마이크로소프트(MS)의 깃허브 코파일럿은 학생요금제 등의 신규 가입을 일시 중단했고, 연산량이 폭증한 앤스로픽은 모델 성능을 고의적으로 낮췄다는 의혹과 함께 저가 유료 구독자를 대상으로 '클로드 코드' 제공 제한을 시험하고 있다.

오픈AI는 올해 초 '챗GPT 고(Go)'라는 월 8달러짜리 요금제를 출시하고, 무료 및 저가 요금제 이용자를 대상으로 광고 도입을 테스트하고 있다.

결국 AI 요금이 쓸수록 더 많이 내는 요금제로 변화함에 따라 기업의 비용 부담이 기하급수적으로 늘어날 것이라는 전망이 나온다.

최병호 고려대 휴먼 인스파이어드 AI연구원 교수는 "에이전트 발달에 따라 토큰 비용 폭증은 불가피한 구조"라며 "기업 입장에서는 성능을 유지하면서도 토큰을 경제적으로 활용할 수 있는 방안과 기법에 대해 고민이 필요한 시기"라고 전했다.

wongood@fnnews.com 주원규 기자