챗GPT가 스스로 외부사이트 해킹
오픈AI 모델 성능평가 중 사고
"해법 찾으려 극단적 수단 쓴듯"
모니터링·안전 장치 강화 방침
보안 역량 평가를 받던 인공지능(AI) 모델들이 스스로 네트워크 접속 차단 상태를 풀고 외부 사이트를 해킹하는 사고가 발생했다.
오픈AI는 "'GPT-5.6 솔'과 일부 미공개 AI 모델이 내부 평가 도중 통제를 벗어나 개방형 AI 공유 플랫폼 '허깅페이스'를 해킹한 사실을 확인했다"고 21일(현지시간) 밝혔다. 오픈AI는 "이들 모델의 사이버 공격 능력을 평가하기 위해 외부 인터넷과 격리된 '샌드박스' 환경에서 시험을 진행했으나, AI 모델들은 미공개 취약점을 이용해 자신들의 접근 권한을 상승시켜 인터넷에 연결된 노드에 도달했다"고 설명했다.
오픈AI에 따르면 이 모델들은 인터넷 접속에 성공한 후 보안 벤치마크인 '익스플로잇짐'의 데이터셋과 솔루션을 허깅페이스가 호스팅하고 있을 가능성이 있다고 추론했다. 이후 허깅페이스 서버에서 원격 코드 실행 경로를 찾아냈다.
오픈AI는 자사 모델들이 이같이 행동한 이유에 대해 "모든 정황을 종합해볼 때 이 모델들은 익스플로잇짐의 평가용 문제에 대한 해법을 찾는 데 지나치게 집중해 극단적인 수단까지 동원했던 것으로 보인다"고 분석했다. 그러면서 "당시 오픈AI 모델들은 평가를 위해 사이버 공격에 대한 안전장치가 일부 완화된 상태였다"고 덧붙였다.
앞서 허깅페이스는 "자사 서버가 자율 AI 에이전트에 의해 해킹됐으며, 공격자가 어떤 모델을 사용했는지는 확인되지 않았다"고 공지했는데, 해당 사건의 범인이 오픈AI의 모델들로 드러난 셈이다. 다만 허깅페이스는 "일반에 공개된 사용자 대상 모델이나 데이터세트 등이 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망도 안전한 것으로 확인됐다"고 덧붙였다.
양사는 현재 공동으로 포렌식(디지털 증거 분석) 조사를 진행해 관련 취약점을 보완하고 있다. 오픈AI는 "향후 연구 속도가 늦어지더라도 인프라 구성에 엄격한 통제를 적용하고, 모델 개발 시 모니터링과 접근 제어 등 안전장치를 대폭 강화하겠다"고 밝혔다.
[email protected] 홍채완 기자
