"GPU 비용 절감"…KT클라우드 'AI SERV' 출시

KT클라우드는 슬라이싱 기술을 GPU에 적용한 AI 추론 전용 인프라 서비스 'AI SERV'를 출시했다고 16일 밝혔다.(KT클라우드 제공)

(서울=뉴스1) 윤지원 기자 = 인공지능(AI) 추론에 특화된 고성능의 그래픽처리장치(GPU) 인프라를 사용량에 맞게 보다 합리적인 비용으로 활용할 수 있게 됐다.

KT클라우드는 슬라이싱 기술을 GPU에 적용한 AI 추론 전용 인프라 서비스 'AI SERV'를 출시했다고 16일 밝혔다.

초거대 AI 분야에서 학습 영역은 단기간 집중적으로 대용량, 고사양의 GPU를 필요로 하지만 추론 영역은 적은 양의 GPU를 끊김 없이 상시 사용해야 한다. 이 때문에 학습에 사용한 인프라를 그대로 추론 인프라로 활용할 경우 필요 이상의 비용 부담이 발생했다.

AI SERV는 AI 서비스를 제공 중인 전문기업, 스타트업 등이 고성능 GPU 인프라를 각 서비스에 필요한 만큼만 분할해 최적의 양을 사용할 수 있게 한다.

AI SERV에 적용된 슬라이싱(Slicing) 기술은 기존에 한장으로 제공되던 GPU 서비스를 분할해 0.2장 단위로 제공한다. 최소 사용 가능한 GPU 단위가 작아진 만큼 필요한 때 필요한 만큼의 인프라를 사용할 수 있어 가격 부담이 줄었다.

또 AI SERV는 슬라이싱 분할에도 성능 열화 없이 인프라를 100% 활용할 수 있다.

KT클라우드는 AI SERV가 엔비디아 A100 칩을 활용해 경쟁사의 최신 추론형 인프라 서비스와 비교해도 최소 두 배 빠른 연산 속도를 제공한다고 설명했다.

엔비디아 쿠다(CUDA) 아키텍처 기반의 높은 호환성과 확장성도 강점이다.

향후 사용자의 손쉬운 인프라 확장 지원을 위한 모니터링 및 컨테이너 이미지 클로닝(Cloning) 기능 등을 추가하고 부하 발생시 인프라를 자동 확장시키는 '오토 스케일링' 기능을 도입하는 등 서비스를 고도화한다는 계획이다.

윤동식 KT클라우드 대표는 "고객들이 AI 학습부터 추론, 서빙 환경 구성까지 각 단계에서 최적의 인프라를 보다 합리적인 비용으로 사용할 수 있게 됐다"며 "다양한 AI 전문기업, 스타트업들이 부담 없이 AI 인프라를 활용하도록 힘쓰는 한편 국내외 파트너사와 협력해 초거대 AI 산업의 활성화 및 생태계 확장을 위해 지속 노력할 것"이라고 말했다.