MS, AI 감시하는 보안관AI '가디언' 내놨다[글로벌AI브리핑]
[파이낸셜뉴스] 마이크로소프트(MS)가 기업에서 일하는 인공지능(AI) 에이전트의 행동을 감시하고 위험한 행위를 통제하는 보안 체계를 공개했다. AI 에이전트가 업무를 대신하는 수준을 넘어 기업의 데이터와 시스템에 직접 접근하는 시대가 열리면서, AI 자체를 새로운 내부 보안 위협으로 관리해야 한다는 판단에서다. MS는 19일(현지시간) 공식 블로그를 통해 보안시스템 '프로젝트 퍼셉션(Project Perception)'에 '가디언 에이전트(Guardian Agents)' 기능을 추가한다고 발표했다. 가디언 에이전트는 기업에서 작동하는 다른 AI 에이전트의 행동을 지속적으로 감시하고, 위험이 커지면 대응하도록 설계됐다.
지금까지 기업의 AI 보안은 주로 외부 해커가 AI를 이용해 공격하거나 기업 시스템에 침입하는 상황에 초점을 맞췄다. 그러나 AI 에이전트가 사내 문서와 업무 도구에 접근하고 결재·분석 등 실제 업무까지 수행하면서 새로운 문제가 생겼다. 정상적으로 도입한 AI라도 잘못된 지시를 따르거나 외부의 악의적인 정보에 영향을 받아 의도하지 않은 행동을 할 수 있기 때문이다. 과도한 접근 권한을 가진 AI가 실수하면 피해가 기업 내부로 확산될 수도 있다.
MS의 하예테 갈로 시큐리티 부문 총괄 부사장은 공식 발표에서 "첨단 AI 모델은 출처와 관계없이 예측 불가능하다며, AI의 행동을 지속적으로 감시하고 통제할 필요가 있다"고 강조했다.
가디언 에이전트는 AI가 위험한 행동을 하기 전에 이를 감지하고 대응하는 역할을 맡는다.
이를 위해 MS는 AI 에이전트마다 고유한 디지털 신원을 부여하고, 업무에 필요한 최소한의 권한만 허용하는 체계를 추진한다. AI의 행동과 주변 상황을 분석해 위험 수준이 달라지면 접근 권한도 조정한다.
이를테면 비용 승인 업무를 맡은 AI가 승인 규칙을 벗어나려 하면 해당 권한을 제한하거나 사람의 승인을 요구할 수 있다. 위험이 심각해지면 AI를 격리하거나 작동을 중단하는 것도 대응 방안이다.
최근 AI 에이전트가 해킹의 주체로 급속히 부상하면서, 글로벌 AI 시장에서는 AI모델의 권한을 분리하고, 별도의 보안 시스템이 행동을 통제해야 한다는 지적이 확산되고 있다. AI의 성능이 급속히 높아지면서 AI가 잘못된 판단을 내렸을 때 누가 이를 발견하고 어디까지 행동을 제한할 것인가가 기업 AI 도입의 핵심 과제로 제기되는 것이다.
[email protected] 이구순 기자
