오케스트로·퓨리오사AI, 국산 NPU 상용화에 '맞손'

AI 반도체·소프트웨어 기술 결합…공공·금융·기업 시장 공략

[파이낸셜뉴스] 오케스트로 그룹이 퓨리오사AI와 손잡고 국산 신경망처리장치(NPU)를 활용한 인공지능(AI) 인프라 상용화에 나선다.

오케스트로 그룹은 퓨리오사AI와 지난 18일 서울 강남구 퓨리오사AI 본사에서 'NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력'을 위한 업무협약(MOU)을 체결했다고 21일 밝혔다.

양사는 올해 초부터 퓨리오사AI의 2세대 NPU 'RNGD(레니게이드)'와 오케스트로의 AI 인프라 소프트웨어를 연동하는 기술 협력을 진행해왔다. 퓨리오사AI NXT RNGD 서버를 오케스트로 AI 인프라 환경에 구축해 호환성과 주요 기능을 검증하고, 대규모언어모델(LLM)을 실제 서비스 환경에서 배포·서빙·운영하기 위한 기술을 구현했다.

이를 바탕으로 오케스트로는 기존 그래픽처리장치(GPU) 중심으로 제공하던 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'의 지원 범위를 RNGD까지 확대했다.

콘체르토 AI는 AI 모델 배포와 서빙, 컴퓨팅 자원 관리, 서비스 모니터링 등을 통합 지원하는 AI 추론 인프라 플랫폼이다. RNGD와 연동하면서 고객이 별도로 NPU 기반 LLM 서빙 환경을 구성해야 하는 부담을 줄였다는 게 회사 측 설명이다.

GPU와 NPU 등 서로 다른 AI 가속기를 함께 활용할 수 있는 기능도 지원한다. 요청 특성과 가속기 자원을 고려해 추론 경로를 구성하는 '지능형 라우팅(Intelligent Routing)'과 서비스·워크로드 특성에 따라 자원을 배분하는 '토폴로지 기반 스케줄링(Topology-aware Scheduling)' 등을 적용했다.

이번 협약을 계기로 양사는 기술 검증을 실제 사업으로 확대한다. 다양한 AI 모델과 워크로드를 대상으로 RNGD 기반 AI 인프라의 성능과 안정성을 검증하고, 고객 대상 벤치마크테스트(BMT)와 실증을 거쳐 구축·운영 모델을 구체화할 예정이다.

공공·금융·기업 고객을 대상으로 한 공동 사업도 추진한다. 고객별 AI 서비스와 워크로드 특성에 맞춰 RNGD 기반 인프라를 공동 설계·제안하고, 실증 결과를 실제 구축 사업으로 연결해 산업별 레퍼런스를 확보한다는 전략이다. 공동 영업과 마케팅, 기술 지원도 진행한다.

이들은 국산 AI 모델과 AI 가속기, 인프라 소프트웨어를 결합한 'K-AI 인프라' 생태계 확대에도 협력한다. 퓨리오사AI의 RNGD와 오케스트로의 AI 인프라 기술을 결합해 공공·금융·기업의 프라이빗 AI와 소버린 AI 구축 수요를 공략할 계획이다.

백준호 퓨리오사AI 대표는 "오케스트로의 AI 인프라 소프트웨어 스택과 RNGD를 결합해 대규모 AI 데이터센터와 토큰 팩토리를 최적으로 운영할 수 있는 풀스택 솔루션을 구현하고, 실제 서비스 환경에서 상용 구축을 지속 확대해 나가겠다"고 말했다.

김민준 오케스트로 그룹 의장은 "이번 협약을 계기로 기술 검증을 고객 실증과 사업화로 연결하고, 양사의 기술 경쟁력을 결합해 공공·금융·기업 시장에서 새로운 AI 인프라 레퍼런스를 만들어 나가겠다"고 말했다.

[email protected] 윤홍집 기자