노타, 고성능 GPU 없이 초거대 AI 구동…도입비용 20%↓
[파이낸셜뉴스] 인공지능(AI) 최적화 기술 기업 노타가 초거대 AI 모델의 주요 성능을 유지하면서 구동에 필요한 그래픽처리장치(GPU) 사양을 낮추는 데 성공했다. 고가의 최신 GPU 대신 기존 인프라를 활용할 수 있도록 해 AI 모델 도입에 따른 초기 투자비용을 최대 20% 줄일 수 있다는 설명이다. AI 모델의 대형화로 고성능 GPU 확보 부담이 커지는 가운데 기존 컴퓨팅 자원의 활용도를 높여 기업들의 AI 도입 문턱을 낮출 수 있을 것으로 예상된다.
10일 업계에 따르면 노타는 중국 문샷AI의 초거대언어모델(LLM) '키미 K3.1 프로'를 최적화해 엔비디아 B300 GPU 8장이 필요했던 모델을 B200 GPU 8장에서도 실행할 수 있도록 했다.
키미 K3.1 프로는 총 2조8000억개의 매개변수를 갖춘 오픈웨이트 AI 모델이다. 모델 규모가 큰 만큼 구동에 필요한 GPU 메모리와 연산 자원을 확보하는 것이 중요하다.
노타는 모델 내부의 전문가 모듈을 선별적으로 제거하는 '프루닝' 기술을 적용해 전문가 모듈 수를 최대 37% 줄였다. 이를 통해 메모리 사용량을 낮추면서도 고난도 과학 추론 능력을 평가하는 'GPQA 다이아몬드'에서 원본 모델 점수의 99% 이상을 유지했다.
경량화 과정에서 확보한 메모리는 대용량 정보 처리와 답변 생성 속도 개선에 활용했다. B200 GPU 8장 환경에서 전문가 모듈을 30% 줄인 모델은 최대 51만2000토큰, 37% 줄인 모델은 최대 100만토큰의 문맥을 처리할 수 있다.
작은 보조 모델이 답변을 미리 생성하고 본 모델이 이를 검증하는 '추측 디코딩' 기술을 지원해 답변 생성 속도를 높일 수 있도록 했다.
비용 절감 효과도 기대된다. 노타의 자체 견적 비교에 따르면 동일한 AI 모델을 구동할 때 B300 대신 B200 GPU를 활용하면 초기 구매비용을 최대 약 20% 줄일 수 있다. 클라우드 환경에서도 B200 GPU 임대료가 최대 약 22% 낮은 것으로 나타났다.
노타는 앞서 키미 K3 모델을 경량화해 구동에 필요한 B300 GPU 수를 8장에서 최대 4장으로 줄인 바 있다. 이번에는 후속 모델의 GPU 요구 사양을 낮추는 방식으로 최적화 기술을 확대했다.
채명수 노타 대표는 "AI 산업의 경쟁력은 더 많은 고성능 GPU를 확보하는 것뿐 아니라 이미 보유한 컴퓨팅 자원에서 얼마나 높은 성능과 효율을 구현하느냐에 달려 있다"며 "기업들이 기존 AI 인프라를 더욱 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다"고 말했다.
[email protected] 장민권 기자
