인텔, 추론 성능 1.8배 강화된 '아크 프로 B70' 공개

[파이낸셜뉴스] 인텔은 ML커먼스가 발표한 최신 ML퍼프 추론 v6.0 벤치마크를 통해 인텔 그래픽처리장치(GPU) 시스템의 4가지 주요 벤치마크 결과를 공개했다고 2일 밝혔다.

벤치마크 결과에 따르면 4개의 GPU를 탑재한 인텔 아크 프로 B70·B65 시스템은 총 128기가바이트(GB)의 V램을 기반으로 1200억개 파라미터 규모의 모델을 높은 동시성으로 구동할 수 있다. 아크 프로 B70은 아크 프로 B60 대비 최대 1.8배 향상된 추론 성능을 보였다.

개방형 컨테이너 기반 소프트웨어 스택으로 구성된 최적화 기술을 통해 단일 노드부터 멀티 GPU 엔터프라이즈 배포까지 추론 성능을 효율적으로 확장함으로써, 동일한 인텔 아크 프로 B60 하드웨어 환경에서도 이전 ML퍼프 v5.1 대비 최대 1.18배의 성능 향상을 달성했다.

AI 추론 수요가 증가됨에 따라 전문 컴퓨팅 시장은 빠르게 재편되고 있다. 그래픽 크리에이터와 AI 개발자들은 이제 데이터 프라이버시를 유지하면서도 고가의 구독 기반 독점 AI 모델에 대한 의존도를 낮추고 성능과 가치를 동시에 제공하는 플랫폼을 찾고 있다.

신규 출시된 인텔 아크 프로 B70·B65 GPU 기반 시스템은 최신 AI 추론 요구사항을 충족하도록 설계됐다. 검증된 풀스택 하드웨어와 소프트웨어를 결합한 올인원 추론 플랫폼을 제공한다.

향상된 메모리 용량을 바탕으로 리눅스 환경을 위한 새로운 컨테이너 기반 솔루션을 통해 간소화된 도입과 사용 편의성을 목표로 한다. 동급의 경쟁사 솔루션 대비 인텔 아크 프로 B70은 멀티 GPU 구성에서 더 큰 모델과 컨텍스트 윈도우를 처리할 수 있으며, 대규모 모델 구동 시 최대 1.6배 더 많은 KV 캐시 용량을 제공한다.

AI 추론은 단순히 GPU 처리량뿐만 아니라 중앙처리장치(CPU) 가속 기반 시스템 성능에도 크게 좌우된다. CPU는 클러스터 전반의 효율성과 총소유비용(TCO)을 결정짓는 핵심 요소로서 메모리 관리, 작업 오케스트레이션, 워크로드 분산과 같은 필수 기능을 수행하는 동시에 최신 AI 인프라에 필요한 보안성, 신뢰성 및 운영 연속성을 보장하는 핵심 역할을 수행한다.

인텔은 ML퍼프 추론 벤치마크에 CPU 단독 성능 결과를 제출하는 유일한 서버 프로세서 기업으로서, 연산 중심 및 가속기 중심 플랫폼 모두에서 AI 추론 기술을 선도하겠다는 계획이다.

특히 ML퍼프 v6.0 제출 사례의 절반 이상이 제온 프로세서를 채택할 만큼, 인텔은 AI 가속 시스템에서 가장 널리 사용되는 호스트 CPU로서 업계 AI 인프라의 핵심 입지를 더 공고히 하고 있다. P코어를 탑재한 인텔 제온 6는 MLPerf 추론 v5.1에서 이전 세대 대비 1.9배의 성능 향상을 달성했다.

[e-mail] 장민권 기자