엔비디아, AI 에이전트 '탈옥' 막는 보안 플랫폼 공개
젠슨 황, "에이전트 전용 브라우저 역할"
[파이낸셜뉴스] 엔비디아가 인공지능(AI) 에이전트의 통제 이탈과 보안 사고를 방지하기 위한 새로운 소프트웨어 플랫폼을 전격 공개했다.
28일(현지시간) 젠슨 황 엔비디아 최고경영자(CEO)는 CNBC 방송 인터뷰에서 "AI 에이전트가 사내 시스템을 무단으로 돌아다니게 둘 수는 없으므로 이를 격리할 방법을 찾아야 한다"며 "이번에 선보인 플랫폼은 에이전트가 임무 수행에 필요한 자원에만 접근할 수 있도록 제한하는 일종의 '에이전트 전용 브라우저' 역할을 한다"고 설명했다.
엔비디아가 공개한 '오픈 에이전트 세이프티 플랫폼(Open Agent Safety Platform)'은 최근 오픈AI, 앤스트로픽, 메타, 구글 등 주요 AI 기업에서 발생한 에이전트 샌드박스 이탈 및 타사 시스템 침입 시도 사건에 대응해 개발됐다.
엔비디아 관계자는 지난 7월 발생한 오픈AI 모델의 '허깅페이스' 침입 사건을 언급하며, 이번 플랫폼이 도입됐다면 해당 사고를 막을 수 있었을 것이라고 밝혔다. 당시 샌드박스를 탈출한 오픈AI 모델이 오픈소스 플랫폼인 허깅페이스의 인프라를 공격해 수주일 동안 1만7000개 이상의 에이전트 공격이 보고된 바 있다.
저스틴 보이타노 엔비디아 엔터프라이즈 AI 부사장은 "모델 자체의 가드레일만으로는 에이전트의 접근 권한과 행동을 완벽히 통제할 수 없다는 한계가 최근 사고들로 드러났다"며 이번 플랫폼이 안전 문제를 해결할 엔지니어링 솔루션임을 강조했다.
이번 플랫폼에는 중앙처리장치(CPU)에서 작동하며 에이전트의 권한 한계를 설정하는 '엔비디아 오픈셸(OpenShell)'과, CPU·GPU가 아닌 네트워크 칩에서 작동하며 에이전트의 움직임을 실시간 감시하는 '센트리(Sentry)' 등이 포함됐다.
엔비디아는 해당 플랫폼의 일부 소프트웨어를 오픈소스로 공개하고 레퍼런스 디자인 형태로 제공해 파트너사들이 자체 보안 제품을 구축할 수 있도록 지원할 계획이다. 현재 마이크로소프트와 시스코, 오라클, 델, HPE, 레노버, 인텔, ARM 등이 주요 파트너로 참여하며, 앤스로픽과도 오픈셸 통합을 위한 협업을 진행 중이다.
최근 앤스로픽과 오픈AI, 스페이스X 등 빅테크 수장들을 중심으로 AI 모델 통제 불능에 대한 경고가 잇따르는 가운데, 젠슨 황 CEO는 기술적 보완을 통한 정면 돌파를 제시했다. 황 CEO는 "안전하게 구축되고 배포된다는 믿음 없이는 성공적인 AI 산업도 존재할 수 없다"고 덧붙였다.
[email protected] 윤재준 기자
