[파이낸셜뉴스] 엔비디아는 미스트랄 AI가 엔비디아 슈퍼컴퓨팅과 엣지 플랫폼 전반에 최적화된 오픈소스 다국어·멀티모달 모델 제품군 ‘미스트랄 3’를 발표했다고 4일 밝혔다. 미스트랄 3는 대규모 모델 ‘미스트랄 라지 3’와 경량 모델군 ‘미니스트랄 3’로 구성된다.
미스트랄 라지 3는 전문가 혼합 방식(MoE) 모델로, 모든 토큰마다 모든 뉴런을 구동하는 대신 가장 영향력이 큰 모델의 일부만 활성화한다. 이를 통해 불필요한 낭비 없이 확장성과 정확성을 동시에 제공한다.
410억개의 활성 매개변수와 총 6750억개의 매개변수, 25만 6000개의 대용량 컨텍스트 윈도우를 갖춘 미스트랄 라지 3는 엔터프라이즈 인공지능(AI) 워크로드에 확장성, 효율성, 적응성을 제공한다.
엔비디아 GB200 NVL72 시스템과 미스트랄 AI의 MoE 아키텍처를 결합함으로써 기업들은 방대한 AI 모델을 효율적으로 배포하고 확장할 수 있으며, 고도화된 병렬 처리와 하드웨어 최적화의 혜택을 누릴 수 있다.
모델의 세분화된 MoE 아키텍처는 엔비디아 NV링크의 일관적인 메모리 도메인을 활용하고 광범위한 전문가 병렬 처리 최적화를 적용해 대규모 전문가 병렬 처리의 성능 이점을 극대화한다.
이러한 이점은 정확성을 유지하는 저정밀도 NVFP4와 엔비디아 다이나모의 분산형 추론 최적화와 결합돼 대규모 훈련과 추론을 위한 최고 성능을 보장한다.
GB200 NVL72에서 미스트랄 라지 3는 이전 세대인 엔비디아 H200 대비 10배의 성능 향상을 달성했다. 이러한 세대 간 성능 향상은 더 나은 사용자 경험, 토큰당 비용 절감, 에너지 효율 증대로 이어진다.
미스트랄 AI는 첨단 거대 언어 모델(LLM)의 기술 수준을 선도하는 데 그치지 않고, 개발자가 어디서든 AI를 실행할 수 있도록 지원하는 9개의 소형 언어 모델도 공개했다.
소형의 미니스트랄 3 제품군은 엔비디아 스파크, RTX PC 또는 노트북, 엔비디아 젯슨 디바이스 등 엔비디아의 엣지 플랫폼 전반에서 실행되도록 최적화됐다.
최상의 성능을 제공하기 위해 엔비디아는 라마.cpp, 올라마 등 주요 AI 프레임워크와 협력해 엔비디아 그래픽처리장치(GPU) 기반 엣지 환경 전반에서 뛰어난 성능을 구현한다.
미스트랄 3 모델 제품군은 누구나 자유롭게 이용할 수 있어 전 세계 연구자와 개발자가 자유롭게 실험하고, 맞춤화하고, AI 혁신을 가속하며 최첨단 기술에 대한 접근을 폭넓게 확장할 수 있도록 한다.
미스트랄 AI의 모델을 데이터 디자이너, 커스터마이저, 가드레일, 네모 에이전트 툴킷 등 AI 에이전트 라이프사이클 개발을 위한 오픈소스 엔비디아 네모 도구에 연동함으로써, 기업은 자사 활용 사례에 맞춰 모델을 더욱 정교하게 맞춤화할 수 있다. 이로써 프로토타입 단계에서 제품화까지의 전환 속도를 한층 높일 수 있다.
클라우드부터 엣지까지 효율성을 확보하기 위해 엔비디아는 엔비디아 텐서RT-LLM, SGLang, vLLM 등 추론 프레임워크를 미스트랄 3 모델 제품군에 맞춰 최적화했다.
미스트랄 3는 현재 주요 오픈소스 플랫폼과 클라우드 서비스 제공업체를 통해 이용할 수 있다. 조만간 엔비디아 NIM 마이크로서비스 형태로도 배포될 예정이다.
mkchang@fnnews.com 장민권 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지