구글, 보안·대용량 처리 특화 TPU 2종 공개

[파이낸셜뉴스] 구글이 자체 개발한 인공지능(AI) 반도체인 텐서처리장치(TPU)의 제품군을 확대한다. 대규모 모델 학습과 실시간 추론뿐 아니라 데이터 보안과 대용량 정보 처리에 특화된 시스템을 추가해 기업 고객의 AI 인프라 수요에 선제적으로 대응하려는 전략이다. AI 반도체 경쟁이 연산 성능을 넘어 서비스 운영 효율과 활용 편의성으로 확대되는 양상이다.

9일 업계에 따르면 구글은 8세대 TPU 신규 시스템인 'TPU 8tx'와 'TPU 8i 맥스'를 공개했다. 지난 4월 발표한 대규모 학습용 'TPU 8t', 실시간 추론용 'TPU 8i'에 이어 2종을 추가하면서 8세대 제품군을 총 4종으로 확대했다. 구글이 한 해 TPU 시스템 4종을 선보인 것은 이번이 처음이다.

신제품은 기업용 AI 에이전트 운영 과정에서 발생하는 데이터 보안과 메모리 병목 문제를 해결하는 데 초점을 맞췄다.

TPU 8tx는 민감한 정보를 처리하는 기업과 정부 기관을 겨냥한 제품이다. 일반적으로 데이터는 저장·전송 과정에서 암호화되지만, 실제 연산 과정에서는 암호화를 해제해야 하는 경우가 많다. 구글은 TPU 8tx에 하드웨어 기반 보안 기능을 적용해 연산 중에도 민감한 데이터와 AI 모델의 가중치를 보호하고 격리할 수 있도록 설계했다.

TPU 8tx는 기존 TPU 8t와 동일한 반도체를 기반으로 맞춤형 AMD 중앙처리장치(CPU) 호스트와 저지연 네트워크를 결합했다. 구글에 따르면 TPU 8t 대비 지연 시간을 최대 절반 수준으로 줄이면서 성능 손실은 최소화했다. 기업은 민감한 데이터를 별도 클러스터로 옮기지 않고도 AI 모델의 미세조정과 강화학습 등을 수행할 수 있다.

TPU 8i 맥스는 방대한 정보를 동시에 처리하는 AI 에이전트에 특화됐다. 수십개의 AI 에이전트가 대규모 소프트웨어 코드나 수시간 분량의 영상을 분석할 때 발생하는 메모리 병목을 줄이기 위한 제품이다.

구글은 TPU 8i 칩 2개를 하나의 패키지로 결합해 기존 TPU 8i 대비 연산 성능과 정적램(SRAM) 용량, 고대역폭메모리(HBM) 대역폭을 각각 2배로 높였다. 기존 서버 랙 공간에 더 많은 연산 자원을 집적할 수 있어 데이터센터의 공간 및 전력 효율도 개선할 수 있다.

구글은 TPU 활용을 위한 소프트웨어 생태계도 확대하고 있다. 최근 오픈소스로 공개한 '토치TPU(TorchTPU)'를 통해 개발자들이 기존 파이토치 코드와 허깅페이스 모델을 별도 재작성 없이 TPU에서 실행할 수 있도록 했다.

AI 에이전트가 외부 작업 결과를 기다리는 동안 불필요한 연산 자원 사용을 줄이는 '에이전트 컴퓨트 엔진'과 메모리 간 데이터 이동을 최적화하는 'TPU 싱크(TPU Sync)'도 선보였다.

아민 바흐다트 구글 AI 인프라 부문 수석 부사장 겸 최고기술책임자(CTO)는 "컴퓨팅 규모가 사람 중심에서 AI 에이전트 중심으로 확대되면서 기업들은 AI 모델의 방대한 문맥을 처리할 수 있는 가속기를 요구하고 있다"고 말했다.

[email protected] 장민권 기자