금융 은행

신한은행, AI 답변 넘어 업무 수행 과정까지 검증

서지윤 기자
파이낸셜뉴스

국제학회서 AI 연구 논문 2편 발표
은행 업무 맞춤 LLM 평가 기반 구축

서울 중구 신한은행 전경사진. 신한은행 제공
서울 중구 신한은행 전경사진. 신한은행 제공

[파이낸셜뉴스] 신한은행이 금융 AI의 안전성과 신뢰성을 높이기 위한 연구 성과를 국제 학술대회에서 공개했다.

16일 금융권에 따르면 신한은행은 지난 15일 이탈리아 밀라노에서 열린 국제 AI 학술대회 'International Conference on AI in Finance(ICAIF) 2026' 워크숍에서 금융 AI 관련 연구 논문 2편을 발표했다. ICAIF는 금융과 AI 기술의 융합을 주제로 최신 연구 성과와 산업 적용 사례를 공유하는 국제 학술대회다.

신한은행은 이번 학회에서 은행 업무에 적합한 대규모 언어 모델(LLM)을 평가하는 벤치마크 프레임워크 'K-BankEval'과 내부 AI 에이전트 평가·검증 플랫폼 'Agent Foundry'를 활용한 AI 에이전트 업무 수행 검증 기술을 소개했다.

'K-BankEval'은 여신·수신·외환 등 은행 업무의 특성을 반영해 총 5000개 문항과 6개 평가 영역으로 구성한 LLM 평가 체계다.

평가 영역은 은행 업무 전문지식, 금융 문서 검색 및 근거 기반 답변(RAG), 업무에 필요한 도구 호출, 은행 업무 관련 계산 및 추론, 금융소비자 보호 관점의 응답 안전성, AI 에이전트의 업무 수행 계획 등이다.

신한은행이 6개 LLM을 비교 평가한 결과, 범용 AI 성능이 뛰어난 모델이라도 실제 은행 업무를 수행하는 능력에는 차이가 있는 것으로 나타났다. 이를 바탕으로 업무 특성에 맞는 LLM을 선택하고 모델별 취약점을 파악할 수 있는 평가 기반을 마련했다.

AI 에이전트의 최종 답변뿐 아니라 업무 수행 과정까지 검증하는 체계도 구축했다. 신한은행은 내부 평가·검증 플랫폼인 'Agent Foundry'를 활용해 은행 업무에 적용되는 AI 에이전트의 실행 과정을 점검할 수 있도록 했다.

구체적으로 업무 요구사항을 검증 사례와 평가 기준으로 세분화한 뒤 AI 에이전트의 답변과 도구 실행 기록을 분석한다. 이를 통해 응답이 업무 기준을 충족하는지, 필요한 도구를 적절하게 사용했는지, 업무 실행 과정이 효율적인지 등을 확인한다.

이 같은 검증 체계를 활용하면 실제 은행 업무에 AI 에이전트를 도입하기 전에 기준 충족 여부와 추가 개선이 필요한 부분을 체계적으로 파악할 수 있다.

이번 연구에서는 업무별 필수 확인 사항과 실제 실행 기록을 연계해 검증하는 방법도 제시했다. 판단 근거가 불충분한 사례를 정상적인 통과 사례와 구분하는 등 평가 체계의 개선 방향도 담았다. 신한은행은 향후 AI 기반 업무 처리의 정확성과 안정성을 높이는 데 해당 검증 기술을 활용할 계획이다.

신한은행 관계자는 "금융 분야에서 AI를 활용하기 위해서는 높은 성능뿐 아니라 실제 업무에 적합한지, 업무 수행 과정이 기준에 맞게 이뤄지는지를 함께 검증하는 것이 중요하다"며 "앞으로도 금융 환경에 특화된 AI 평가·검증 기술을 고도화해 고객과 직원이 안심하고 활용할 수 있는 금융 AI 환경을 만들어가겠다"고 말했다.

[email protected] 서지윤 기자


※ 저작권자 © 파이낸셜뉴스, 무단전재-재배포 금지

기자 정보