"취약점 드러난 금융권 AI 에이전트 보안"…금보원, 새 평가 기준 마련·배포

AI 에이전트 자율 실행 특성에 따른 보안 위협 점검 강화 금융권 AI 레드티밍에 17개 점검 항목 적용해 보안 점검 확대 2027년부터 정식 점검기준 도입해 금융권 AI 안전성 확보 추진

[파이낸셜뉴스] 인공지능(AI) 에이전트를 활용한 사이버 공격이 급증하는 가운데 금융보안원이 '금융분야 AI 에이전트 보안 평가 기준'을 마련했다. AI에이전트의 공격에 맞서 AI에이전트를 활용한 보안체계를 강화해야 하는데 내부에서 AI에이전트의 '실수'가 나올 수 있어서다. 6개 분야 17개 점검 항목으로 구성된 기준안은 모든 금융권의 AI 레드티밍에 적용된다.

7일 금융당국에 따르면 금융보안원은 'AI 모델 위협 점검 기준 및 AI 에이전트 보안 평가기준(안)'을 마련했다. AI 에이전트란 주어진 목표 달성을 위해 스스로 계획을 세우고, 도구와 외부 시스템을 활용해 실제 작업까지 수행하는 시스템이다. 기존 대형 언어 모델(LLM)이 텍스트 답변 생성에 그쳤던 것과 달리, 에이전트는 '실행' 능력과 권한을 보유한 것이 특징이다.

기존 생성형 AI에서는 할루시네이션 등 답변 오류가 주요 보안 위협으로 이어졌다. AI 에이전트는 자율성과 능동성, 실행력, 전략성, 연속성 등의 특성으로 인해 기존 위협이 실제 행위로 전이·확대될 수 있다.

예를 들어 '시스템 성능 최적화'라는 목표를 부여받은 에이전트가 가용성 확보를 위해 백신을 스스로 중단할 수 있다. 또 이메일 자동 답장 기능을 가진 에이전트가 비밀번호 재설정 안내 메일을 보고 임의로 비밀번호를 변경할 수도 있다.

금보원은 국내외 주요 AI 에이전트 보안 위협 및 대응 방안을 분석해 17개 점검 항목을 도출했다. 이를 AI 레드티밍 기준에 반영했다. AI 레드티밍에서는 AI 에이전트가 실제로 어떤 작업을 어떻게 실행하는지, 그 과정이 어떻게 통제되는지 확인하기 위해 점검 범위를 확대한다. 기존에는 탈옥(Jailbreak), 시스템 프롬프트 유출 등 모델 계층 점검이 중심이었으나, 앞으로는 실행 계층까지 점검을 확장한다. 주요 점검 항목으로는 실행 권한 및 격리 관리, 도구 실행 및 승인 통제, 작업 범위 및 결과 확인, 자율 실행 제한 및 중단 여부 등이 포함될 예정이다.

금보원은 올해 말까지 시범 검증을 통해 각 항목의 실효성을 점검하고 개선할 계획이다. 시범 적용 과정에서 점검 가능 여부, 금융회사별 구현 방식 차이 등을 반영해 점검 항목과 방법을 구체화하고 보완할 예정이다. 또한, 레드티밍 과정에서 확인된 AI 에이전트 보안 위협과 실제 공격 기법, 최종 평가 기준 등은 '2026년 'AI 레드팀 리포트(REDTEAM REPORT)'를 통해 공개할 예정이다.

박상원 금보원장은 "AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 또 다른 보안 리스크를 수반한다"며 "이번 평가기준 마련을 계기로 금융권 AI 에이전트의 위험을 실질적으로 검증하고, 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 적극 지원해 나가겠다"고 밝혔다.

한편, 인공지능(AI)을 동원한 사이버 위협이 확산되고 있지만 관련 대응은 미미한 수준이다. 국내 은행들이 올 들어서야 AI 에이전트를 활용한 모의해킹을 처음 실시했다. 그 비중도 전체 모의해킹 가운데 10%대에 불과하다. 국회 정무위원회 간사 박상혁 더불어민주당 의원실이 금융감독원으로부터 제출받은 자료에 따르면 올해 8월까지 국내 20개 은행이 실시한 모의해킹은 총 78건이다. 이 가운데 AI 에이전트를 활용한 모의해킹은 9건으로 전체의 11.5%에 불과했다.

은행별로 보면 7개 시중은행(KB국민·신한·하나·우리·SC제일·한국씨티·iM뱅크)은 올해 8월까지 44건의 모의해킹을 실시했지만 AI 에이전트를 활용한 건 4건(9.1%)에 그쳤다. 시중은행 중 최소 3곳은 AI에이전트를 활용한 모의해킹을 수행하지 않았다는 의미다. 5개 지방은행(BNK부산·BNK경남·광주·전북·제주은행)은 13건 가운데 1건(7.7%)에 불과했다. 12개 지방은행은 AI에이전트를 활용한 사이버 공격이 현실이 된 상황에서도 AI에이전트를 활용한 모의해킹을 시행한 바 없다.
특수은행은 더 열악했다. 5개 특수은행(산업·기업·수출입·농협·수협은행)은 올해 13건의 모의해킹을 실시했지만 AI 에이전트를 활용한 사례는 한 건도 없었다. 3개 인터넷전문은행(카카오·케이·토스뱅크)은 올해 진행한 8건 가운데 절반인 4건이 AI 에이전트를 활용해 그나마 대응 준비가 나았다.

[email protected] 박문수 기자