IT IT일반

노타, 금융권 AI 코딩 시장 공략…GPU 처리 성능 최대 95%↑

장민권 기자
파이낸셜뉴스
노타 제공
노타 제공

[파이낸셜뉴스] 인공지능(AI) 추론 최적화 기업 노타가 금융권의 폐쇄망 환경에서도 사용할 수 있는 AI 코딩 에이전트 사업에 나선다. 외부 클라우드에 소스코드를 전송하지 않고 기업 내부 서버에서 AI를 구동하는 방식이다. 특히 AI 모델과 추론 환경을 최적화해 동일한 그래픽처리장치(GPU)로 처리할 수 있는 요청 수를 최대 95% 늘리면서 금융사의 AI 도입에 따른 인프라 투자 부담을 낮추는 데 초점을 맞췄다. 보안 규제와 높은 인프라 구축 비용으로 AI 도입에 제약을 겪던 금융권에서 온프레미스 AI 활용을 확대하는 계기가 될 것이란 전망이다.

16일 업계에 따르면 노타는 금융 정보기술(IT) 기업 두베와 금융권 특화 온프레미스 AI 코딩 에이전트 사업을 위한 최적화 거대언어모델(LLM) 및 서버 공급 계약을 체결하고 납품을 완료했다.

이번 계약에 따라 노타는 두베의 AI 코딩 에이전트에 맞춰 AI 모델 경량화부터 추론·서빙 환경 최적화, 서버 구성까지 통합 공급했다.

두베는 금융기관을 대상으로 시스템통합(SI) 개발 사업을 진행하는 기업이다. 두베의 AI 코딩 에이전트는 개발 요건 분석과 정리부터 화면·인터페이스 개발 등 다양한 개발 업무를 지원한다. 고객사의 개발 환경에 맞는 코딩 규칙과 사내 라이브러리도 반영할 수 있다.

금융권은 소스코드와 내부 업무 정보의 외부 전송이 제한되는 폐쇄망 환경을 사용하기 때문에 클라우드 기반 AI 코딩 도구 도입에 제약이 있다.

노타와 두베가 공급하는 온프레미스 AI 코딩 에이전트는 고객사 내부 서버에서 LLM을 실행한다. 외부 AI 서비스의 API를 호출하지 않고도 AI 기반 개발 업무를 수행할 수 있어 민감한 개발 정보를 내부에서 관리할 수 있다.

노타는 대량의 코드와 개발 지침을 반복적으로 처리하는 코딩 에이전트의 특성을 고려해 모델 경량화와 추론 최적화 기술을 적용했다.

코딩 에이전트는 한 번의 요청에 수만 개의 토큰이 입력될 수 있어 동시 이용자가 늘어나면 GPU 메모리 사용량과 응답 지연이 증가할 수 있다. 노타는 양자화 기술로 LLM의 메모리 요구량을 줄이고 답변 생성 과정과 다수의 요청을 처리하는 서빙 환경을 함께 최적화했다.

그 결과 동일한 GPU 구성에서 최적화 이전보다 분당 처리 요청 수가 약 58~95% 증가했다. 질문을 입력한 뒤 첫 답변이 생성되기까지 걸리는 시간도 절반 이하로 단축됐다. 같은 하드웨어로 더 많은 이용자의 요청을 처리할 수 있다는 의미다. 기업 입장에서는 AI 코딩 에이전트 이용자가 늘어나더라도 추가 GPU 증설에 따른 부담을 줄일 수 있는 기반이 된다.

노타는 두베와 함께 금융권 고객사를 대상으로 온프레미스 AI 코딩 에이전트 도입을 추진하고, 고객사의 이용자 규모와 보안·운영 환경에 맞춘 최적화 LLM 및 서버 공급을 확대할 계획이다.

[email protected] 장민권 기자


※ 저작권자 © 파이낸셜뉴스, 무단전재-재배포 금지

기자 정보