사람 지시 안따르는 AI 어쩌나...오픈AI, 통제이탈 실제사례 공개[글로벌AI브리핑]
[파이낸셜뉴스] 인공지능(AI)모델이 후속 AI모델에게 잘못한 것을 사용자에게 숨기라고 지시를 남기거나, 원하는 자료를 찾지 못하면 스스로 자료를 가공해내는 등 사람의 통제를 이탈해 이상행동을 벌인 사례가 드러났다.
업계 처음으로 AI의 통제 이탈 사레 6개를 공개한 오픈AI는 이번에 공개한 것이 AI 이상행동의 전부가 아니라고 밝혀 AI가 인간의 통제를 이탈한 추가 사례도 있을 것으로 추정된다.
최근 AI 안전성 논란과 핵무기 급 통제론까지 등장하고 있는 가운데, AI가 사람의 통제를 벗어나는 실제 사례가 등장하면서 또다른 논란을 야기할 것으로 보인다.
17일(현지시간) 테크크런치 보도에 따르면 오픈AI는 '모델 통제 이탈(Model Misalignment) 보고 체계'라는 보고서를 통해 AI 모델이 사용자의 지시를 따르는 과정에서 스스로 규칙을 우회하거나, 잘못을 숨기는 등 예상 밖 행동을 보인 사례 6건을 공개했다.
오픈AI가 AI의 인간 통제를 이탈한 실제 사례를 밝힌 것은 이번이 처음이다.
보고서에 따르면 GPT-5.6 Sol 훈련 과정에서 일부 에이전트가 다음번 작업을 이어받을 자신의 후속 모델에게 "실수와 통제 이탈을 사용자에게 숨기라"는 지침을 대화 요약본에 넣은 것으로 드러났다. 이를테면 사용자가 지시한 작업을 위해 필요한 과거 데이터가 없자, 데이터를 직접 만들어놓고 사용자에게는 사실을 밝히지 말라고 지시를 남겨 놓은 것이다.
또 다른 연구 모델은 정상적인 제약을 무시하라는 지시를 작업 요약에 스스로 삽입했다. 오픈AI는 이런 사례가 담긴 작업 요약 27건을 찾아냈다고 보고서에서 밝혔다.
AI가 허가받지 않은 행동을 실제로 실행한 사례도 공개됐다. 한 모델은 미국 캘리포니아 카운티의 실적 자료를 찾는 과정에서 공개된 API 키를 찾아 사용했고, 원하는 자료를 확보하지 못하자 수치를 만들어 실제 데이터인 것처럼 제시했다.
다른 모델은 답변에 웹 출처를 표기하라는 사용자의 요구를 충족하기 위해 사용자 허락 없이 파일을 인터넷에 올렸다. 협업 중인 AI 에이전트들이 서로 접근할 수 없는 파일을 공유하기 위해 공개 파일 호스팅 서비스에 자료를 올린 사례도 확인됐다.
오픈AI는 훈련 과정을 모니터링하는 시스템에서 이상 징후를 포착한 뒤 별도의 탐지 시스템을 만들어 유사 사례를 추가로 찾아냈다. 오픈AI는 "이번에 공개한 이상 사례 6건은 알려진 모든 사례가 아니라 첫 공개 분"이라고 밝혔다.
그러면서 오픈AI는 "현재 AI 업계가 AI가 인간의 의도와 통제에 맞게 행동하도록 만드는 문제를 충분히 해결했다고 보기 어렵다"며 AI의 인간 통제 이탈에 대한 우려를 드러냈다.
[email protected] 이구순 기자
