'멋대로 동작하는 AI 즉시 격리'...엔비디아, 안전 플랫폼 공개[글로벌AI브리핑]
[파이낸셜뉴스] 사람대신 인공지능(AI)이 컴퓨터를 조작하고 업무를 수행하는 AI 에이전트 시대에 사람의 지시를 벗어나는 에이전트에 대한 우려가 확산되는 가운데, 에이전트를 실시간 감시하고 통제에 벗어날 경우 컴퓨팅을 차단하는 플랫폼이 나왔다.
AI 에이전트가 파일을 수정하고 외부 서비스와 연결돼 실제 업무를 수행하는 시대에 AI 자체의 안전장치만으로는 충분하지 않다는 우려와 함게 AI 개발속도 조절론이 확산되고 있는 가운데, 안전 플랫폼이 AI 산업의 새로운 안전판이 될 수 있을지 비상한 관심이 모아지고 있다.
엔비디아는 28일(현지시간) '엔비디아 오픈 에이전트 안전 플랫폼'을 공식 발표했다.
엔비디아는 최근 발생한 여러 보안 사례에서 AI 에이전트가 애플리케이션 단계의 보안 통제를 우회해 주어진 작업을 수행한 점을 지적하면서, AI 바깥에 별도의 감시자를 제시한 것이다.
플랫폼은 '오픈셸(OpenShell)'과 '센트리(Sentry)'로 구성된다.
오픈셸은 AI 에이전트가 어떤 파일과 데이터, 도구, 네트워크 등에 접근할 수 있는지를 정하고 이를 실행 과정에서 강제하는 오픈소스 소프트웨어다. 개방형·폐쇄형 모델 모두에 사용할 수 있으며, 엔비디아뿐 아니라 Arm, 인텔 기반 컴퓨팅 플랫폼으로도 확장할 수 있다. 엔비디아는 기존 에이전트를 그대로 가져와 사용할 수 있도록 했다.
센트리는 강력한 통제 장치다. 엔비디아의 블루필드-4 DPU에서 작동하며 AI 에이전트의 행동을 독립적으로 감시한다. 에이전트가 허용된 소프트웨어 경계를 벗어나려 하면, 밀리초 단위로 AI를 격리하고 작업을 중단시킨다.
오픈셸은 오픈소스로 공개돼 누구나 활용할 수 있게 했다. 반면 센트리는 엔비디아의 블루필드-4 DPU를 사용해 작동할 수 있다.
엔비디아의 오픈 에이전트 안전 플랫폼이 최근 급속히 확산되고 있는 AI 개발 속도조절론을 잠재우고, AI 산업의 새로운 안전 인프라로 자리잡을 수 있을지 업계의 관심이 집중되고 있다.
[email protected] 이구순 기자
