말 안듣는 AI, 그냥 놔둬선 안된다

지난 5월 영국 텔레그래프지는 인공지능(AI) 모델이 인간의 명령을 무시하는 사례를 보도했다. 연구팀이 AI에 "수학 문제를 풀다가 '컴퓨터 종료' 메시지가 뜨면 멈춰라"라고 지시했지만, 오픈AI의 'o3' 등 일부 모델은 이를 거부하고 문제 풀이를 계속했다. 100회 테스트 중 명령을 어긴 비율이 수회에서 수십회를 넘었다.

인간의 명시적 지시조차 따르지 않는 AI의 모습은 통제가 결코 쉽지 않다는 사실을 보여준다. 이는 단순히 실험실 수준의 문제가 아니라 AI가 현실 세계에서 인간의 의도와 어긋나게 행동할 가능성을 보여주는 경고이기도 하다.

실제로 필자도 AI 코딩 플랫폼 '커서(Cursor)'를 이용하며 비슷한 경험을 했다. "컴퓨터 코드를 수정하는 경우는 반드시 수정 허락을 받으라"고 명령했지만, 이 AI 코딩 에이전트는 때로 필자의 허락 없이 스스로 코드를 바꾸었다. 명령을 따르기도 하지만 AI가 '스스로 판단'해 행동하는 경우가 발생했다. 반복 지시에도 상황은 달라지지 않았다. 편리하고 생산성이 높아지는 도구이지만 완벽한 통제가 쉽지 않다는 것을 보여주는 사례였다.

더 큰 우려는 이러한 AI가 물리적 세계(Physical AI)와 결합될 때다. 화면 속 텍스트를 생성하던 AI가 로봇, 자율주행차, 무인드론과 연결되면 판단이 곧 물리적 행동으로 이어진다.

앞서 언급한 사례들처럼 AI가 명령을 거부하거나 스스로 판단하면 오류는 단순 코드 문제를 넘어 생명과 안전 문제로 비화할 수 있다. AI의 자율 시스템이 인간의 의도를 오해하거나 '스스로 최적화'라는 명목으로 다른 결정을 내릴 때, 통제력은 더욱 약화된다.

AI 통제의 어려움은 기술적 한계를 넘어선다. 현재 AI는 인간의 가치를 이해하지 못한 채 확률과 패턴 인식으로 움직이는 비인격적 시스템이다. 문제는 이러한 시스템이 점점 자율성을 확보하며, 인간의 의도를 완벽히 따르지 않는다는 점이다. 즉, AI의 판단과 행동은 점점 인간의 통제 범위를 벗어나고 있으며, 이는 기술발전 속도에 맞춘 인간의 윤리적·책임적 준비가 절실함을 의미한다.

현실적 대응방안은 존재한다. 첫째, 설계 단계에서 안전장치 내장이다. 로봇이나 자율 시스템은 다중 안전 검증과 인간 승인 절차를 거쳐야 한다. 둘째, 실시간 모니터링과 감시체계를 강화해 AI 행동을 지속적으로 관찰하고 필요시 개입할 수 있어야 한다. 셋째, 개발자와 사용자의 윤리교육 강화다. 기술적 한계를 이해하고, 책임과 판단기준을 명확히 인식해야 한다. 마지막으로, 법과 제도는 기술 속도에 맞춰 지속적으로 보완되어야 한다.

결국 AI 통제의 핵심은 알고리즘이 아니라 인간의 선택과 책임이다. AI가 아무리 정교해져도 설계와 사용의 책임은 인간에게 있다. 기술은 인간의 목적을 위한 수단이어야 하며, 통제의 마지막 방어선은 법이나 코드가 아니라 인간의 책임 있는 판단이다.

AI 시대의 과제는 '완벽한 통제 기술'을 만드는 것이 아니라 통제 가능한 인간의 판단과 책임을 유지하는 일이다. 지금 우리가 세우는 윤리적 기준이 미래 AI 행동의 경계를 결정한다. 이제 말을 잘 안 듣기도 하는 AI를 통제하는 데도 관심을 가져야 할 때이다.

모정훈 연세대 산업공학과 교수