"GPU 너무 비싸다" 日도 '탈 엔비디아' 가속

【파이낸셜뉴스 도쿄=서혜진 특파원】일본에서 인공지능(AI) 인프라 구축 비용을 낮추기 위한 '탈(脫) 엔비디아' 움직임이 본격화하고 있다고 니혼게이자이신문(닛케이)이 15일 보도했다.

현재 데이터센터용 그래픽처리장치(GPU) 시장에서 엔비디아의 점유율은 90% 이상으로 추정된다. AI 서버는 GPU를 여러 개 탑재하는 경우가 많아 용도와 사양에 따라 가격이 수천만엔에서 수억엔에 달한다.

닛케이는 "AI 투자 경쟁이 치열해지면서 GPU 확보 비용이 기업들의 새로운 부담으로 떠오르자 이를 대체하거나 효율을 높이려는 움직임이 확산되고 있다"고 말했다.

대표적인 사례가 미국 펭귄솔루션즈 일본법인이다. 이 회사는 올 하반기 GPU의 '메모리 병목' 문제를 개선한 '메모리 AI KV 캐시 서버'를 일본 시장에 출시할 예정이다. 대규모언어모델(LLM)이 생성 과정에서 사용하는 KV 캐시를 GPU 외부에 저장해 동일한 연산을 반복하지 않도록 해 GPU 사용량을 줄이는 방식이다. 회사 측은 메모리 용량 1GB 기준으로 GPU를 추가하는 것보다 비용을 7분의 1에서 3분의 1 수준까지 낮출 수 있다고 설명했다.

한국 AI 반도체 스타트업 리벨리온도 일본 시장 진출에 나섰다. 일본 반도체 유통업체 토멘디바이스는 AI 기업 투모로우넷과 협력해 리벨리온의 신경망처리장치(NPU)를 탑재한 서버의 실증 실험을 시작했다.

NPU는 AI 학습보다 실제 서비스 단계인 '추론' 연산에 특화된 반도체다. AI 활용이 학습 중심에서 추론 중심으로 옮겨가면서 GPU보다 가격이 저렴하고 전력 소비가 적은 NPU가 대안으로 주목받고 있다. 리벨리온의 NPU를 탑재한 서버는 한국에서 SK텔레콤 등이 이미 도입한 것으로 알려졌다고 닛케이는 소개했다.

미국에서도 엔비디아 의존도를 낮추려는 움직임이 이어지고 있다. 구글은 자체 AI 반도체인 TPU를 설계해 활용하고 있다.

한편 엔비디아는 중국 시장에서 사업 기회를 넓힐 기회를 노리고 있다.

제프리 케슬러 미국 상무부 산업안보 담당 차관은 14일(현지시간) 미 하원 외교위원회 청문회에서 "엔비디아 AI 반도체 H200의 중국 수출이 소량 시작됐다"고 밝혔다.

미 정부는 최첨단 AI 반도체의 중국 수출을 제한하고 있지만 엔비디아 자료에 따르면 올해 2월 특정 중국 고객을 대상으로 H200의 소량 출하를 허가했다. 한 외신 보도에 따르면 지난 5월 알리바바와 텐센트, 바이트댄스 등 약 10개 기업이 허가 대상이다.

다만 엔비디아는 지난 5월 실적 발표에서 H200의 대중 수출에 따른 매출은 아직 발생하지 않았으며 향후 실적 전망에도 이를 반영하지 않았다고 밝혔다. 중국 정부가 자국 AI 기업들에 국산 반도체 사용을 권장하고 있는 만큼 실제 판매 확대 여부는 아직 불투명하다는 분석이다.

업계에서는 AI 산업이 학습 중심에서 추론 중심으로 빠르게 이동하면서 GPU 중심의 시장에도 변화가 나타날 가능성에 주목하고 있다.

GPU는 여전히 AI 모델 학습에 필수적이지만 추론 분야에서는 NPU와 메모리 최적화 기술 등 새로운 대안이 잇따라 등장하면서 AI 반도체 시장의 경쟁 구도가 다변화될 가능성이 제기되고 있다고 닛케이는 덧붙였다.

sjmary@fnnews.com 서혜진 기자