AI 패권, '칩 확보' 넘어 '칩 가동률' 경쟁…빅테크, GPU 효율화 속도

전력·인허가 제약에 기존 인프라 활용 중요성 커져
MS 처리량 개선·구글 구형 TPU 활용
아크릴·래블업·엘리스도 GPU 효율화 사업 확대

[파이낸셜뉴스] 인공지능(AI) 인프라 경쟁이 반도체 확보와 데이터센터 증설을 넘어 보유한 연산자원의 활용도를 높이는 방향으로 확대되고 있다. 전력·냉각·인허가 제약 속에 글로벌 기술기업들은 신규 투자와 기존 설비의 효율 개선을 병행하고 있다.

9일 재계 및 외신 보도 등을 종합하면 마이크로소프트(MS)·구글·아마존웹서비스(AWS)는 확보한 장비에서 더 많은 연산을 처리하기 위한 기술 개발에 속도를 내고 있다.

사티아 나델라 MS 최고경영자(CEO)는 지난해 10월 BG2 팟캐스트에서 전력과 시설 확보를 주요 제약 요인으로 지목하며, 확보한 칩을 설치하지 못하는 상황을 설명했다. 비즈니스인사이더는 지난달 AWS가 약 50억달러 규모의 엔비디아 서버 랙을 최종 배치 전에 인수하는 절차를 도입했으며, 일부 장비는 전력 확보 지연으로 창고에 보관돼 있다고 보도했다. 아마존은 수용 여건이 갖춰질 때까지 장비를 인근에 보관하는 일반적인 운영 절차라는 입장이다.

지역사회 반대도 변수다. 미국 선거정보기관 벌로피디아에 따르면 지난 3일 데이터센터 관련 지방 주민투표 41건 중 40건에서 개발 제한 또는 반대 방향의 결과가 나왔다. 다만 비구속적 안건도 포함돼 있어 전국적인 건설 금지를 의미하는 것은 아니다. 오픈AI는 지난 5일 향후 직접 소유·운영하는 컴퓨팅 캠퍼스의 전력과 필요한 인프라 비용을 전액 부담하겠다고 발표했다.

MS는 지난달 28일 실적설명회에서 해당 분기 데이터센터 24곳을 추가하는 동시에 인프라와 소프트웨어 등을 최적화해 코파일럿 작업 처리량을 전 분기 대비 50% 넘게 높였다고 밝혔다.

구글의 AI 인프라 책임자 아민 바닷은 7~8년 된 TPU도 100% 활용되고 있다고 설명했다. 다만 이는 칩의 최대 연산성능이 항상 100% 발휘된다는 의미와는 구분할 필요가 있다. AWS도 기존 데이터센터에 적용할 수 있는 액체냉각 기술과 자체 열교환기를 개발하고, 서버 배치를 최적화해 활용되지 못하는 전력 용량을 줄이고 있다.

한편 국내에서는 아크릴이 GPU 운영·관리 플랫폼 'GPUBASE'를 공급하고 있다. 회사는 지난 9월 공개한 자료에서 7월 AWS·구글 클라우드·MS 애저 환경의 GPU 총 1272개를 활용한 자체 검증을 완료했다고 밝혔다. 회사에 따르면 18종의 장애 상황에서 감지·복구 성능을 점검한 결과 GPU 실효 가동률이 최대 93%를 기록했다. 전력 효율을 고려해 작업을 배치하는 '전력 기준 스케줄링' 기능도 향후 추가할 계획이다.

지난 3일 코스닥시장에 상장한 래블업은 '백엔드닷에이아이(Backend.AI)'를 통해 GPU·NPU 등 연산자원을 통합 관리한다. 회사는 GPU 분할 가상화와 작업 배분 등을 통해 활용률을 30%에서 85%로 높인 성과를 제시했다. 엔비디아·AMD·인텔 GPU와 국산 NPU 등 다양한 가속기를 지원한다.

여기에 지난달 20일 상장한 엘리스그룹은 모듈형 AI 데이터센터 'AI PMDC'와 자체 클라우드 운영 소프트웨어 'ECI'를 결합한 사업을 추진하고 있다. 회사는 모듈형 데이터센터를 통해 구축 기간을 3개월 이내로 단축하고, 기존 데이터센터 대비 초기 인프라 구축 비용을 최대 40% 절감했다고 밝혔다.

AI 인프라 업계 관계자는 "AI 인프라 경쟁은 GPU를 얼마나 확보했는지 뿐 아니라 확보한 GPU를 얼마나 효율적으로 가동할지 여부로 확대되고 있다"며 "전력과 데이터센터 증설에 제약이 커지는 만큼 기존 연산자원의 활용률을 높이는 소프트웨어 기술이 새로운 경쟁력으로 부상하고 있다"고 전했다.

한편 시장조사업체 더비즈니스리서치컴퍼니는 소프트웨어와 서비스를 포함한 AI GPU 오케스트레이션 플랫폼 시장이 올해 40억4000만달러에서 2030년 107억8000만달러로 연평균 27.9% 성장할 것으로 전망했다.

[email protected] 김경아 기자