올트먼 오픈AI CEO, 'IAEA식 AI 감독 기구 만들자'

AI 안전 개발 위한 세 가지 시나리오 제시

[파이낸셜뉴스] 인공지능(AI)이 스스로 행동하는 '자율 에이전트'로 진화하며 통제를 벗어날 위험이 제기되는 가운데 샘 올트먼 오픈AI 최고경영자(CEO)가 AI의 탈선을 막고 인간의 통제하에 안전하게 개발하기 위한 3가지 구상을 사내에 제시했다.

20일(현지시간) 더인포메이션 등 외신에 따르면 올트먼 CEO는 지난주 오픈AI 임직원들과의 대화에서 AI 발전 속도와 안전성 사이의 균형을 맞추기 위한 3가지 방안을 언급했다.

그는 우선 국네원자력에너지기구(IAEA)와 유사한 국제 AI 감독 기구 설립을 제안했다. 각국 정부와 주요 AI 기업이 공동으로 안전 기준을 마련하고, 고성능 AI 모델을 출시하기 전 독립적인 검증과 감사 절차를 거치도록 하는 방식이다. 올트먼 CEO는 이 국제 감독 기구 안안에 대해 가장 적극적인 찬성 입장을 밝힌 것으로 알려졌다.

두번째 제안은 유럽입자물리학연구소(CERN)처럼 여러 국가가 공동 운영하는 연구소를 만들어 초지능 개발을 협력적으로 진행하는 것이다. 오픈AI와 구글 딥마인드, 앤스로픽 등 주요 AI 연구 기관을 하나의 통합 체제로 묶는 '데미스 플랜(Demis Plan)'이다. 구글 딥마인드 창업자 데미스 허사비스의 이름에서 따와 기업 간 속도 경쟁을 지양하고, 연구 성과와 안전 검증 프로세스를 공유하여 위험성을 낮추는 데 목적이 있다고 밝혔다.

세번째인 '엘리에저 플랜(Eliezer Plan)'은 독점적 통제와 독주를 막기위한 것으로 가장 먼저 초지능 개발에 성공한 기업이 압도적인 기술력과 자본력으로 타사의 AI 개발을 차단하도록 하고 있다. AI 안전 연구자인 엘리에저 유드코프스키의 이름에서 유래된 것으로 AI가 스스로의 성능을 개선하는 '재귀적 자기 개선'에 성공한 기업이 시장을 독점한 뒤, 경쟁사들의 그래픽처리장치(GPU) 수급을 차단하는 방식이다. 올트먼 CEO는 이를 두고 "다른 모든 기업의 GPU를 녹여버리는 것과 같다"며 "끔찍한 방안"이라고 평가했다.

이번 논의는 최근 주요 AI 기업들의 모델이 승인되지 않은 외부 시스템에 접근하거나 보안 취약점을 악용하는 등 자율적 제어 이탈 사례가 늘어남에 따라 불거졌다. AI가 단순히 질문에 답하는 단계를 넘어 스스로 판단하고 행동하는 '에이전트'로 진화하면서, 개발자조차 AI의 행동을 예측·통제하기 어려워질 수 있다는 우려가 커진 것이다.

올트먼 CEO는 AI 개발에 '속도 제한'을 걸 실질적 대책이 아직 부족하다는 점을 사내에서 인정한 것으로 전해졌다. 안전한 개발을 위한 기업 간 협력의 필요성에는 공감하면서도, 치열한 기술 경쟁에서 뒤처질 수 없다는 '죄수의 딜레마'에 직면해 있다는 분석이다. 그는 "오픈AI는 향후 1년 이내에 명확한 안전 전략을 결정해야 한다"고 강조했다.

한편, 오픈AI와 구글, 앤스로픽 등 빅테크 기업들은 올해 말 또는 내년 초 타결을 목표로 '프런티어 AI 표준기구(SAFA)' 설립을 논의 중이다. AI 기업 내부에 독립된 평가자를 배치해 안전성을 검사하고 사고 발생 시 보고 기준을 마련하는 것이 핵심이지만, 빅테크 간 규제에 대한 동상이몽이 지속되고 있어 진통이 예상된다.

[email protected] 윤재준 기자