망고부스트, AI 추론 서비스로 사업 확대…'망고 인퍼런스' 공개
하드웨어·소프트웨어 함께 최적화…서울 강남에 AI 인프라 확충
[파이낸셜뉴스] 망고부스트가 자체 하드웨어와 소프트웨어를 결합한 인공지능(AI) 추론 서비스로 사업을 확대한다. 서버를 직접 구축하지 않고도 AI 모델을 활용할 수 있는 '망고 인퍼런스'를 통해 기업과 개발자를 직접 고객으로 확보한다는 전략이다. 서울 시내에 자체 AI 인프라도 구축해 추론 성능을 높이고 운영 비용을 낮춘다는 복안도 제시했다.
이날 공개한 망고 인퍼런스는 서버 구축과 관리 부담을 줄인 서버리스 AI 추론 플랫폼이다. 이용자는 복잡한 인프라 설정 없이 서비스 접속에 필요한 인증 코드인 API 키를 발급받아 AI 모델을 활용할 수 있다.
망고부스트는 시스템통합(SI) 파트너사와 개발자, 스타트업을 주요 고객으로 삼고 응답 지연 단축과 처리량 확대, 총소유비용(TCO) 절감을 추진한다. 망고 인퍼런스에서는 AI 모델 선택과 사용량·응답 속도·이용 비용 확인, 인증 코드 관리 등을 한 곳에서 할 수 있다. 향후 고객별 전용 추론 서비스도 제공할 계획이다.
김 대표는 출시 전 기존 고객들에게 무료 크레딧을 제공해 서비스를 이용하도록 했다고 설명했다. 고객이 원하는 모델과 처리 성능, 가격에 맞춰 서비스를 제공하는 데 초점을 뒀으며 반응도 좋았다고 전했다.
망고부스트는 이번 출시가 그래픽처리장치(GPU) 서버와 저장장치, 소프트웨어를 각각 공급하던 사업을 추론 서비스로 확장하는 계기가 될 것으로 보고 있다. 김 대표는 자체 설계한 컴퓨터에 소프트웨어를 얹어 고객에게 직접 서비스를 제공한다는 점을 강조하며 "저희는 AI 팩토리 회사"라고 말했다.
망고부스트는 AMD와의 협력도 주요 경쟁력으로 제시했다. 망고부스트는 여러 대의 AMD GPU를 연결하거나 서로 다른 세대의 GPU를 함께 사용하는 환경에서 추론 성능을 높여왔다고 설명했다.
자체 서비스 인프라도 확충할 예정이다. 김 대표는 서울 강남 도산공원 인근에 1MW(메가와트)급 시스템을 구축하고 있으며, 올해와 내년에 걸쳐 1~5MW 규모의 인프라를 조성하고 있다고 밝혔다. 전력과 공간 등을 제공받는 코로케이션 방식으로 GPU를 설치하고, 현재 함께 활용하는 외부 클라우드의 비중은 점차 줄일 계획이다.
김 대표는 AMD의 최신 GPU 수백 장을 확보할 계획이며, 이미 수십 장이 확보됐다고 강조했다. 늦어도 내년 1분기 안에 GPU 확보를 마무리하겠다고 덧붙였다.
[email protected] 윤홍집 기자
