스노우플레이크, 머신러닝에 엔비디아 '쿠다-X' 탑재

[파이낸셜뉴스] 스노우플레이크는 엔비디아와 협력해 스노우플레이크 플랫폼에서 머신러닝(ML) 워크플로우를 직접 가속화한다고 19일 밝혔다.

스노우플레이크 ML에 오픈소스 라이브러리인 엔비디아의 ‘쿠다-X’를 사전 탑재한 것으로, 스노우플레이크 고객들은 그래픽처리장치(GPU) 가속 알고리즘을 ML 워크플로우에 즉시 활용할 수 있게 된다. 전체 ML 모델 개발 라이프사이클이 단순·효율화되면서 데이터 사이언티스트들은 코드 수정을 하지 않아도 주요 파이썬 라이브러리 기반 모델의 개발 속도를 크게 높일 수 있게 된다.

기업이 보유한 데이터세트의 규모가 빠르게 확장하며 생산성 유지 및 효율적인 비용 관리를 위한 GPU 가속의 중요성이 커지고 있다. 엔비디아 벤치마크에 따르면 엔비디아 A10 GPU는 랜덤 포레스트에서 약 5배, HDBSCAN에서는 최대 200배까지 중앙처리장치(CPU) 대비 속도 향상을 보였다. 이번 통합에 따라 엔비디아 쿠다-X 데이터 사이언스(CUDA-X DS) 생태계에서 제공되는 ‘엔비디아 cuML’, ‘엔비디아 cuDF 라이브러리’를 스노우플레이크 ML에서 활용할 수 있다. HDBSCAN 등 라이브러리의 개발 사이클도 별도의 코드 변경 없이 단축할 수 있다.

엔비디아 고객들도 쿠다-X 데이터 사이언스 생태계에서 스노우플레이크 컨테이너 런타임을 직접 활용할 수 있다. 스노우플레이크 컨테이너 런타임은 대규모 ML 개발을 위한 사전 구축 환경으로, 고난도 연산 작업을 보다 효율적으로 처리할 수 있게 한다.

예를 들어 기업은 수백만 건의 제품 리뷰와 같은 대규모 테이블 데이터를 처리 및 클러스터링하는 시간을 CPU 기준 ‘수 시간’에서 GPU 기반 ‘수 분’으로 단축할 수 있다. 컴퓨터 유전체학 연구에서도 GPU 수준을 높여 방대한 고차원 시퀀스 분석 속도를 높이고 분류 작업도 신속하게 할 수 있다.

스노우플레이크는 전통적인 ML 모델 개발부터 엔터프라이즈급 LLM 배포에 이르기까지 고객이 고도화된 GPU 가속 도구를 활용할 수 있도록 협력 관계를 넓혀나갈 계획이다.

[e-mail] 장민권 기자