MS, 자체 AI칩 내년부터 멀티GW급 확대…AI 추론 효율 높인다

GPU 대비 전력당 토큰 처리량 40%↑ 기대

[파이낸셜뉴스] 마이크로소프트(MS)가 자체 인공지능(AI) 가속기 '마이아'의 공급 규모를 내년부터 멀티 기가와트(GW)급으로 확대한다. AI가 질문에 답하는 수준을 넘어 복잡한 업무를 수행하는 에이전트로 진화하면서 급증하는 추론 수요에 대응하기 위해서다. MS는 차세대 AI 칩의 전력 효율과 데이터 처리 능력을 높여 코파일럿 등 자체 서비스 뿐 아니라 기업용 AI 인프라 경쟁력도 강화한다는 구상이다.

■마이아 200 실전 투입…GPU 대비 전력 효율 최대 1.7배
MS는 오는 2027년부터 클라우드 플랫폼 애저의 자체 AI 가속기 제품군인 '마이아' 배포 규모를 멀티 GW급으로 확대한다고 13일 밝혔다. 이를 통해 자체 개발한 AI 가속기를 주요 AI 서비스의 추론 인프라로 활용할 계획이다.

현재 운영 중인 2세대 제품 '마이아 200'은 MS 코파일럿과 팀즈 등 주요 서비스에 적용되고 있다. 오픈AI 모델과 MS 자체 개발 모델인 MAI, 주요 오픈소스 AI 모델을 구동하는 데 활용되며 연말까지 깃허브 코파일럿과 기업용 AI 개발 플랫폼인 MS 파운드리에도 도입될 예정이다.

마이아 200은 이미 미국과 유럽, 호주에 배포됐다. MS에 따르면 팀즈와 코파일럿 등 실제 서비스에서 AI 기능을 처리할 때 주요 그래픽처리장치(GPU) 기반 인프라보다 전력 1와트(W)당 최대 1.7배 많은 토큰을 처리하는 것으로 나타났다. 같은 전력으로 더 많은 AI 요청을 처리할 수 있다는 의미다.

자체 AI 가속기 확대는 AI 인프라를 반도체부터 소프트웨어, 서비스까지 통합적으로 최적화하려는 MS 전략과도 맞닿아 있다. MS는 자체 AI 모델뿐 아니라 오픈AI와 오픈소스 모델까지 마이아에서 구동해 다양한 AI 서비스를 지원하고 있다. 특정 모델에 종속되지 않으면서 서비스 특성에 맞춰 인프라를 최적화하려는 것이다.

■차세대 마이아 300, AI 에이전트 시장 공략
MS는 이 같은 운영 경험을 바탕으로 차세대 제품인 '마이아 300'의 추론 효율을 한층 높일 계획이다. 마이아 300은 장문의 정보를 분석하거나 여러 단계에 걸쳐 업무를 수행하는 AI 에이전트에 최적화된 3세대 가속기다. AI가 장시간 대화 내용을 기억하고 복잡한 작업을 수행할수록 데이터 이동과 메모리 사용량이 늘어나는 점을 고려해 설계됐다.

MS는 마이아 300이 주요 GPU 기반 시스템보다 메가와트(MW)당 40% 많은 토큰을 처리할 것으로 기대하고 있다. 가속기 96개를 탑재한 랙 단위 시스템에서는 이전 세대인 마이아 200보다 최대 7배 높은 토큰 처리량을 제공하도록 설계됐다. 다만 이 수치는 실제 운영 결과가 아닌 MS가 제시한 목표 성능이다.

이를 위해 마이아 300은 연산 성능뿐 아니라 데이터 이동을 최소화하는 데 초점을 맞췄다. 소프트웨어가 데이터 흐름을 제어해 불필요한 이동을 줄이고, 연산장치와 메모리, 네트워크 자원을 효율적으로 활용하는 방식이다.

하드웨어에도 최신 기술을 적용했다. 마이아 300은 8개의 4세대 고대역폭메모리(HBM4)를 탑재해 950W의 열설계전력(TDP) 범위에서 초당 최대 18테라바이트(TB)의 메모리 대역폭을 제공한다. 연산과 메모리 제어, 입출력 기능을 분리한 칩렛 구조를 채택했으며 연산용 칩렛은 대만 TSMC의 2나노급 N2P 공정으로 생산된다.

랙 단위 시스템은 167킬로와트(kW)의 전력 한도 내에 가속기 96개를 통합한다. 랙 전체의 HBM 용량은 27.6TB, 메모리 대역폭은 초당 1.7페타바이트(PB)에 달한다. MS는 이를 통해 제한된 데이터센터 전력과 공간에서 더 많은 AI 요청을 동시에 처리할 수 있을 것으로 기대하고 있다.

마이아 300은 2027년부터 실제 서비스 환경에 배치될 예정이다. MS는 오는 11월 미국 샌프란시스코에서 열리는 '마이크로소프트 이그나이트 2026'에서 AI 인프라 전략과 관련 기술 도입 성과를 추가 공개할 예정이다.

[email protected] 최혜림 기자