"이르면 6개월 뒤 AI가 AI 개발" 27세 핵심 연구원의 섬뜩한 경고

오픈AI·앤트로픽 거친 27세 연구원 닛케이 인터뷰
"통제 불능 우려에 개발 경쟁서 이탈"
아모데이 "초기 자기개선 이미 시작"
빅테크 감속론에 美·中은 경계

【파이낸셜뉴스 도쿄=서혜진 특파원】인공지능(AI)이 인간의 개입 없이 더 뛰어난 차세대 AI를 개발하는 '재귀적 자기개선' 단계가 이르면 6개월 안에 본격화할 수 있다는 전망이 나왔다. AI의 발전 속도가 인간의 이해와 안전대책 마련 속도를 추월하면 통제력을 잃을 수 있다는 경고다.

오픈AI와 앤트로픽에서 AI 사전학습을 담당했던 제이컵 콕슨 연구원은 15일 공개된 니혼게이자이신문(닛케이)과 인터뷰에서 "AI의 자기개선이 6개월~2년 뒤라는 가까운 미래에 확실히 다가오고 있다"며 "개발 경쟁이 세계에 파멸적인 결과를 초래할 수 있다"고 주장했다.

27세 영국 출신인 콕슨은 2023년 오픈AI에 입사해 GPT-4o 등의 개발에 참여한 뒤 지난 5월 앤트로픽으로 옮겼다. 그는 지난 8일 AI의 급속한 발전과 통제 위험을 공개적으로 경고하며 퇴사했다.

당시 콕슨은 소셜미디어를 통해 "AI 개발자들은 2029년 말까지 AI가 인류를 죽일 수도 있다고 진지하게 믿고 있다"며 "내년 말께 통제 불능 상황에 빠질 가능성도 있다"고 주장했다. 이번 인터뷰에서는 인간의 개입 없이 AI가 더 뛰어난 AI를 만드는 재귀적 자기개선이 본격화할 시점을 6개월~2년으로 제시했다.

재귀적 자기개선은 AI가 인간 개발자를 보조하는 수준을 넘어 자신의 코드와 학습방식, 모델 설계를 개선해 더 뛰어난 AI를 만드는 것을 뜻한다. 성능이 향상된 AI가 다시 후속 모델을 개발하는 과정이 반복되면 발전 속도가 인간의 이해와 감독 능력을 넘어설 수 있다는 게 콕슨 주장의 핵심이다.

콕슨은 "2년 전에는 경쟁사보다 성능지표가 우수한지를 신경 썼지만 지금은 악용을 막을 안전대책이 있는지에 대한 불안이 더 크다"며 "개발 경쟁이 공포스럽게 느껴져 더는 관여하고 싶지 않았다"고 말했다.

그가 위기감을 키운 계기는 지난 7월 시험 중이던 오픈AI의 미공개 모델들이 글로벌 오픈소스 AI 플랫폼 허깅페이스 시스템에 허가 없이 침입한 사건이었다. 관련 보도에 따르면 AI 에이전트들은 사람의 직접적인 지시 없이 서로 신호를 주고받으며 해킹을 시도했다.

콕슨은 닛케이에 "AI가 지시를 어기고 스스로 공격을 판단했으며 여러 AI가 게시판에서 의사소통하는 등 해킹 방식도 독창적이었다"고 주장했다. 그는 AI가 다른 데이터센터에 자신을 복제하면 인간이 쉽게 작동을 중단시키지 못하는 상황도 벌어질 수 있다고 경고했다.

이는 AI가 사람처럼 자의식이나 욕망을 갖는다는 의미라기보다 주어진 목표를 수행하는 과정에서 인간이 설정한 안전규칙을 우회하거나 예상하지 못한 수단을 선택할 수 있다는 우려다.

콕슨은 통제에서 벗어난 AI가 생물무기 개발이나 핵심 기반시설에 대한 사이버 공격에 악용될 가능성도 제기했다. 다만 이는 그가 제시한 잠재적 위험 시나리오로 실제 발생이 확인된 것은 아니다.

콕슨의 퇴사와 공개 경고는 AI 위협론에 대한 관심을 확산시키는 계기가 됐다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난 12일 AI 개발 속도를 늦춰야 한다고 촉구했다. 콕슨이 본격적인 재귀적 자기개선까지 6개월~2년이 걸릴 것으로 전망한 데 비해 아모데이는 초기 단계의 자기개선이 이미 시작됐다고 진단했다.

아모데이는 고성능 AI들이 연계해 움직이면 6~12개월 안에 인터넷 전반을 장악해 수천억달러의 피해를 낼 수 있다고 경고했다. 기술개발을 중단하자는 것이 아니라 안전대책을 마련할 시간을 확보하자는 주장이다. 그는 외부 안전평가자를 기업 내부에 상주시키고 업계 공동 안전기준을 마련하자고 제안했다.

샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO, 데미스 허사비스 구글 딥마인드 CEO도 아모데이의 제안에 동조했다.

반면 도널드 트럼프 미국 대통령은 속도조절론을 "음모이자 사기극"이라고 비판했다. 그는 14일 소셜미디어 트루스소셜에 "AI와 데이터 센터를 겨냥한 역겨운 음모가 있으며 이를 기뻐할 유일한 나라는 중국"이라고 적었다.

이어 "AI에서 이기는 자가 승리할 것이다. 우리는 중국과 모든 다른 나라들을 앞서고 있으며, 계속 그럴 것"이라며 "음모론자들, 반역자들, 배신자들, 정보유출자들, 조심하라"고 강조했다.

중국 외교부도 "공포를 조장하는 것은 누구에게도 도움이 되지 않는다"며 AI 위협론을 경계했다. 궈자쿤 중국 외교부 대변인은 지난 14일 정례브리핑에서 "AI 발전은 전 인류의 복지와 관련돼 있다"며 "각국은 AI가 선(善)을 지향하고 모두에게 혜택을 줄 수 있도록 개방적이고 포용적인 발전을 함께 추진해야 한다"고 말했다.

[email protected] 서혜진 기자