GPU 추가 없이 AI 성능 높이는 방법은?…오케스트로 웨비나 개최
27일 무료 온라인 웨비나 개최
동일 GPU로 처리량 62.8% 개선
[파이낸셜뉴스] 오케스트로가 인공지능(AI) 서비스 운영 과정에서 발생하는 GPU 활용률 저하와 응답 지연 문제를 줄이기 위한 추론 인프라 최적화 방안을 소개한다. GPU를 추가로 확보하는 대신 기존 자원을 효율적으로 활용해 AI 서비스 성능과 운영 효율을 높이는 기술을 공유한다.
생성형 AI가 산업 전반으로 확산하면서 모델 학습뿐 아니라 추론과 서비스 운영의 중요성도 커지고 있다. 기업들이 GPU 확보에 투자를 늘리는 가운데 낮은 GPU 활용률과 응답 지연, 운영 비용 부담은 해결 과제로 남아 있다.
특히 에이전틱 AI가 확산하면서 하나의 작업을 처리하기 위해 AI 모델을 여러 차례 호출하는 사례가 늘고 있다. 입력 처리와 답변 생성에 같은 GPU 자원을 사용하면 작업 간 경합이 발생해 응답이 늦어질 수 있다. 오케스트로는 웨비나에서 추론 과정의 병목을 줄이고 GPU 자원을 효율적으로 운영하는 방안을 설명할 예정이다.
웨비나에서는 오케스트로의 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 활용한 분산 추론과 GPU 자원 최적화 방안, 성능 검증 결과를 소개한다.
콘체르토 AI는 대규모 언어모델(LLM)의 입력 처리(Prefill)와 답변 생성(Decode) 단계를 분리해 GPU 자원 간 경합을 줄이는 플랫폼이다. 추론 인프라의 구축과 배포를 자동화하고 성능 모니터링 기능을 통합 제공한다.
오케스트로의 성능 검증 결과에 따르면 콘체르토 AI는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하면서 고부하 환경에서 처리량을 62.8% 높였다. 토큰 생성 지연은 52.1% 줄었다.
넷앱(NetApp) 스토리지 기술을 연계한 인프라 최적화 사례도 공개한다. GPU 다이렉트 스토리지(GPUDirect Storage·GDS) 기반 KV 캐시 오프로딩으로 GPU 메모리 부담을 줄이고 동시 사용자 처리 효율을 높인 사례를 소개한다. 모델 가중치 로딩 시간은 기존 71초에서 8초로, 신규 서버의 서비스 투입 시간은 187초에서 80초로 단축했다고 회사 측은 설명했다.
소버린 AI 인프라 분야 협력도 추진하고 있다. 계열사 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개사와 업무협약을 맺고 국산 NPU 기반 '소버린 AI 풀스택 어플라이언스' 공동 개발을 진행하고 있다.
웨비나는 27일 오후 2시부터 올쇼TV를 통해 온라인으로 진행된다. 참가비는 무료이며 사전 등록 후 참여할 수 있다.
김범재 오케스트로 대표는 "AI 시대에는 GPU를 얼마나 많이 확보하느냐보다 보유한 자원의 성능을 최대한 끌어내는 운영 역량이 중요해지고 있다"며 "이번 웨비나에서 콘체르토 AI의 기술력과 성능 검증 결과를 공유하고, 기업들이 GPU 투자 효과를 높이고 AI 서비스를 안정적으로 운영할 수 있도록 실질적인 해법을 제시하겠다"고 말했다.
[email protected] 윤홍집 기자
