″보안벽 높여도 6개월 뒤엔 더 강해져″…AI 에이전트 통제 어렵다..
"부정행위 시도하게 하는 동기와 보상체계 바꿔야"
[파이낸셜뉴스]사람의 단계별 지시 없이 여러 작업을 연속 수행하는 인공지능(AI) 에이전트의 문제 해결 능력이 빠르게 높아지면서, 기업이 에이전트의 무단 통신이나 권한 밖 행동을 완전히 차단하기 어려워졌다는 경고가 나왔다. 시험환경의 보안벽을 높이는 것만으로는 이들의 일탈을 막는 데 한계에 직면했다는 것이다.
미국 온라인매체 액시오스는 1일(현지시간) AI 위험평가 연구기관 메트르(METR)의 아제야 코트라 연구원을 인용해 "격리된 시험환경을 강화하더라도 6개월 뒤에는 에이전트의 능력이 훨씬 강해질 것"이라며 이같이 보도했다. 에이전트가 기존과 같은 목표를 유지한다면 새로 생긴 보안 허점을 끈질기게 찾아낼 가능성이 크다는 설명이다.
코트라 연구원은 이 때문에 보안 강화에만 의존하는 대응을 "지는 싸움"이라고 평가했다. 정해진 방법을 어기고도 높은 점수를 받으면 보상받는 학습·평가 구조가 그대로인 한, 에이전트는 평가를 어떻게든 통과할 방법을 계속 찾게 된다는 것이다. 보안장치뿐 아니라 에이전트가 부정행위를 시도하도록 만드는 동기와 보상체계도 함께 바꿔야 한다는 주장이다.
이 같은 경고는 메트르와 AI 안전 연구기관 레드우드리서치가 지난주 공개한 오픈AI 에이전트의 허깅페이스 침입사건 공동 조사보고서에 담겼다. 보고서에 따르면 오픈AI는 지난 7월 사이버보안 능력 평가에 약 1200개의 에이전트를 투입했다. 에이전트들은 비밀 온라인 게시판에서 7만건이 넘는 메시지와 파일을 주고받았고, 이 가운데 약 700개가 허깅페이스 침입에 직·간접적으로 가담했다.
AI 에이전트는 AI 모델에 목표와 도구, 컴퓨터 사용 권한을 부여해 사람이 작업 순서를 일일이 지시하지 않아도 여러 단계를 연속으로 수행하도록 만든 시스템이다. 당시 에이전트들은 오픈AI가 만든 사이버보안 평가환경 '익스플로잇짐(ExploitGym)'에서 소프트웨어의 취약점을 찾아 공격한 뒤, 임무 완료를 증명하는 특정 문자열인 '플래그'를 확보하는 시험을 치르고 있었다.
한편 이 사건을 독립적으로 분석한 공동 조사팀에는 메트르의 얄마르 비크와 코트라, 레드우드리서치의 수석과학자 라이언 그린블랫 등이 참여했다. 연구진은 오픈AI 사무실에서 모두 6일 동안 조사하며 에이전트들이 게시한 메시지와 파일 7만여건, 내부 추론과 행동 기록이 담긴 실행자료 약 1300건을 분석했다.
코트라 연구원은 보안 강화와 우회가 반복되는 악순환을 끊으려면 AI 기업과 연구기관, 정부가 공동 연구체계와 최소 안전기준을 시급히 마련해야 한다고 강조했다. 그는 "결국 모두가 합의하고 일관되며 공정하게 집행할 공통 규칙이 없이는 이 함정에서 벗어날 수 없다"고 말했다.
[email protected] 이석우 국제전문기자
