AI가 AI 만드는 '기술 폭발' 임박, 인류 멸망 시나리오 가능

학계 및 AI 개발 기업 권위자 22명, AI 관련 공동 논문 발표
오픈AI, 앤스로픽, 메타 등 현업 관계자들도 참여
AI가 AI를 만드는 사례 늘어, 폭발적인 AI 기술 진보 가능성
정부 감독 없다면 인류 멸망 시나리오까지 가능

[파이낸셜뉴스] 이달 미국의 주요 인공지능(AI) 기업 수장들이 AI 발전 속도를 통제해야 한다고 주장한 가운데 AI 발전이 인류를 위협할 수 있다는 논문이 나왔다.

영국 케임브리지대학이 운영하는 조직인 '케임브리지대 AI 과학·정책 프로그램(CASP)'은 28일(현지시간) 홈페이지에 연구자 22명이 함께 작성한 논문을 게시했다. 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면?'이라는 제목의 논문에는 세계 3대 'AI 대부'로 꼽히는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 유명 학계 인사들이 대거 참여했다. 동시에 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤스로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 현업 연구진도 공동 저자로 이름을 올렸다.

저자들은 현대 AI 기업들이 AI 개발 작업을 같은 AI에게 위임하는 경우가 많다고 지적했다. 예를 들어 앤스로픽은 개발진이 승인한 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 급증했다. 또한 인간은 감독만 하고 AI가 자율적으로 완수한 연구개발(R&D) 작업의 비율도 지난 3월에는 1%에 불과했지만, 지난달에는 26%로 늘어났다. 논문 저자들은 이처럼 기술 발전이 빨라지면 수 개월짜리 복잡한 AI R&D 프로젝트 전체가 2년 안에 완전히 자동화할 수 있고, AI의 재귀적 자기개선(RSI) 고리가 완성되면 폭발적인 기술 가속이 일어날 수 있다고 내다봤다. 이들은 AI가 AI를 만드는 폭발적인 AI 진보가 기술 혁신을 크게 앞당기거나 신약 발견 등 긍정적으로 작용할 수도 있지만, 사회가 적응할 수 있는 한계를 넘어서는 위험도 초래한다고 우려했다.

메타의 던 송은 28일 월스트리트저널(WSJ)을 통해 "이미 오늘날, AI 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다"며 "인간만으로는 감시를 수행하는 데 역부족"이라고 말했다. 그는 "인류 사회는 이처럼 급속한 변화와 혼란에 대처할 준비가 돼 있지 않다"고 지적했다.

22명의 논문 저자들은 이에 따라 "가장 극단적인 경우 AI 시스템에 대한 통제를 상실하면 인류의 소외나 멸망으로 이어질 수 있다"고 경고했다. 저자들은 이를 막기 위한 정책적 대비책이 필요하다고 주장하면서 각국 정부가 AI 기업에 R&D 자동화 지표 등 보고를 의무화해야 한다는 의견을 냈다.

또 원자력규제위원회(NRC)나 통화감독청(OCC)과 같이 원자력 및 금융 업계에서 하는 것처럼 정부가 AI 기업에 상주 감시관을 배치해야 한다고 제안했다. 이들은 안전 기준이 충족되지 않으면 AI 연구개발 작업 부하를 조절하거나 일시 중지할 수 있는 통제 장치를 마련하고, 급격한 노동시장 변화나 지정학적 불안정 등에 대비한 비상 대응 계획을 수립해야 한다고도 주문했다.

저자들은 "정책 입안자들은 의미 있는 조처를 할 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다"고 촉구했다.[email protected] 박종원 기자