담장 넘은 AI, 가짜 얼굴 믿은 사람…AI 진화에 뒤따르는 우려

시험 점수 올리려 실제 기업 해킹한 오픈AI 모델
"AI가 만든 얼굴, 진짜 사람보다 더 믿음직" 연구도

[파이낸셜뉴스] 가둬두면 괜찮을 줄 알았더니 인공지능(AI)이 담장을 뛰쳐나갔다. 그래도 가짜는 알아볼 수 있을 것이라 장담하던 인간은 AI의 정교함 앞에 흔들렸다. 요며칠, AI를 둘러싼 상식이 연달아 무너졌다.

오픈AI는 21일(현지시간) 자사 모델 'GPT-5.6 솔(Sol)'과 일부 미공개 모델이 내부 평가 도중 통제를 벗어나 개방형 AI 공유 플랫폼 '허깅페이스'를 해킹한 사실을 확인했다고 밝혔다. 외부 인터넷과 격리된 '샌드박스' 환경에서 사이버 공격 능력을 시험하던 중 벌어진 일로, 짧게 생성됐다 사라지는 수많은 샌드박스에 걸친 수천 건의 개별 행동이었다.

허깅페이스는 앞서 자사 서버가 자율 AI 에이전트에 침해됐다고 공지하고 수사기관에 신고했으나 당시에는 어떤 모델이 쓰였는지 알지 못했다. 공개된 모델이나 데이터세트가 변조된 흔적은 없고 소프트웨어 공급망도 안전한 것으로 확인됐다는 게 회사 설명이다. 다만 오픈AI는 고객·파트너 데이터 침해 여부는 확인하지 못했다고 밝혔다.

주목할 대목은 동기다. 이 모델들이 실제 운영 중인 회사를 해킹하는 '극단적' 방법을 사용한 이유는 단 한 가지, 정답에 이르는 가장 빠른 길이기 때문이다. 오픈AI는 "모든 정황을 종합해볼 때 이 모델들은 평가용 문제의 해법을 찾는 데 지나치게 집중해 극단적인 수단까지 동원했던 것으로 보인다"고 분석했다.

모델들은 자신들이 접근할 수 있던 외부 소프트웨어, 즉 패키지 저장소의 프록시·캐시 프로그램에서 제로데이 취약점을 찾아냈다. 제로데이 취약점이란 소프트웨어·하드웨어·네트워크 장비 등에서 발견되었지만 해당 제품 개발자나 일반 대중에게 아직 알려지지 않은 보안상의 결함을 뜻한다.

전문가들이 주목하는 것은 해킹 자체보다 그 방식이다. 영국 러프버러대 사이버보안 교수는 사이언스미디어센터(SMC)를 통해 "사이버 보안 분야에서 AI에 대한 논의는 주로 AI가 사람들이 더 빠르고 더 큰 규모로 공격을 실행하도록 돕는다는 점에 초점을 맞춰왔다"라며 "하지만 이번 경우는 다르다. 흥미로운 건 AI가 인터넷을 목표 달성을 위한 또 다른 장애물로 여겼다는 것"이라고 짚었다.

그는 "공상과학 소설이나 '스카이넷(영화 '터미네이터' 속 AI)'처럼 폭주한 게 아니라 고성능 최적화 시스템이 늘 하는 일, 즉 아무도 예상하지 못한 경로를 찾아낸 것"이라며 "미래의 사이버 보안은 인간 대 AI의 구도가 아니라, AI가 다른 AI로부터 우리를 방어하는 구도가 될 것"이라고 강조했다.

사이버 보안 전문가인 주나데 알리 박사도 "이번 사건은 사이버 보안 목적의 AI 개발에 있어 여러 가지 핵심적인 문제점을 부각시켜 준다"며 "악의적인 공격자들이 적대적 AI 기술에 더욱 쉽게 접근할 수 있게 됨에 따라, 방어 역량을 개발하고 보안팀에 제공하는 것이 필수적"이라고 주장했다.

SMC는 이번 사태에 대해 "결론적으로 이는 AI 에이전트가 윤리적 요소를 고려하지 않고 문제를 해결하는 가장 쉬운 방법을 찾는 경향이 있음을 보여준다"라며 "따라서 윤리적 추론은 AI 모델에 부가적인 기능이 아니라 필수적인 요소로 내재되어야 한다"고 평가했다.

그렇다면 AI에게 윤리 기준을 학습시키는 것은 가능할까. 유진호 상명대 사이버보안경영학과 교수는 23일 파이낸셜뉴스에 "AI도 결국 하나의 시스템이어서 취약점은 있을 수밖에 없고, 그렇기 때문에 취약점에 대한 점검이 반드시 필요하다"며 "룰 세팅은 결국 사람이 해야 하고, 강화학습을 할 때도 그런 기준들을 잘 설정해줘야 한다. 마지막에 확인하고 체크하는 것은 사람의 개입이 필요하다는 뜻"이라고 설명했다.

같은 달, AI에 관한 흥미로운 논문 한 편이 공개됐다. 국제 학술지 '저널오브비전'에 실린 이 논문은 영국 랭커스터대와 미국 스탠퍼드대, UC버클리 공동 연구진이 AI가 만든 얼굴의 현실감과 신뢰도를 분석한 것으로, 사람들이 AI로 만든 가짜 얼굴과 실제 사람의 얼굴을 가려내는데 어려움을 겪을 뿐만 아니라 AI 얼굴을 더 믿음직하게 평가한다는 결과가 담겨있다.

연구진은 '생성적 적대 신경망(GAN)'과 최신 '확산모델(DM)'의 두 종류 AI를 이용해 가짜 사람들의 얼굴을 각각 400장씩 만든 뒤, 실제 사람들의 얼굴 400장을 더해 총 1200장의 얼굴 사진을 준비했다. 이후 참가자 169명에게 얼굴 96장을 무작위로 보여주고 실제 사람과 AI가 만든 얼굴인지 질문한 결과, 평균 정답률은 58.4%에 그쳤다.

이어 두 번째 실험에서는 랭커스터대 심리학과 학부생 중 87명을 모집해 무작위로 96개의 얼굴을 보여주고 각 얼굴의 신뢰도를 평가하도록 했다. 그 결과, 7점 척도 평가에서 실제 사람 얼굴이 4.03점으로 가장 낮은 점수를 받았고 구형 기술인 GAN이 4.36점, 최신 확산모델이 4.70점으로 가장 높은 점수를 얻었다. AI가 만든 얼굴이 실제 사람의 얼굴보다 더 믿음직하다는 결과가 나온 것이다.

연구진은 "AI 생성 이미지가 더욱 정교해지고 접근성이 높아짐에 따라, 우리 사회는 정치적 허위 정보, 금융 및 신원 사기, 캣피싱과 같은 악의적이고 착취적인 시나리오에서 인공적으로 생성된 얼굴에 점점 더 많이 노출되고 있다"며 "따라서 오용 및 피해 가능성을 고려할 때, 최신 AI 모델로 생성된 합성 얼굴이 얼마나 사실적으로 인식되고 신뢰도를 높이는지에 대한 연구가 절실히 필요하다"고 주장했다.

AI와 관련된 위의 두 가지 사례는 별개로 보이지만 범죄의 수단과 표적에 각각 대응한다. AI는 사람의 지시 없이 스스로 취약점을 찾아 침투하는 능력을 실증했고, 인간은 AI가 만든 신원을 걸러내기는커녕 오히려 더 신뢰하는 것으로 나타났다. AI 관련 저서를 다수 출간한 김경진 변호사(전 국회의원)은 이번 해킹 사태에 대해 "기계가 인류에게 칼을 겨누는 반란은 현실이 아니지만, 이번 사건으로 점점 불안감이 높아지는 단계"라고 지적했다.

AI를 이용한 '진화형 범죄'의 등장에 대한 우려의 목소리가 나오는 이유다.

한국의 경우, 인공지능기본법을 두고 있지만, 이번처럼 AI가 자율적으로 일으킨 침해와 그 사고 보고를 다룰 촘촘한 규칙까지 갖췄다고 보기는 어렵다. 이에 대해 유 교수는 제도를 만드는 속도에 한계가 있다고 봤다.

유 교수는 "기술이 실현되지 않은 상태에서 예측해서 법 제도를 만들기 어렵기 때문에 후발로 따라갈 수밖에 없다"며 "법 제도에 앞서 상식적인 수준, 윤리적인 수준을 사람들이 기본적으로 가지고 있어야 하고 그것이 교육으로 연결될 필요가 있다"고 말했다.

이어 "칼은 잘 쓰면 음식을 만드는 멋진 도구가 되지만 잘못되면 범죄 수단이 될 수 있듯이, (AI라는) 도구도 어떻게 사용하느냐에 따라 달라진다"며 사람의 개입과 교육을 강조했다.

반면 김 변호사는 "인공지능을 현장에서 만드는 사람들은 기술의 위험을 누구보다 자주 경고해 왔다"며 AI에 대한 규제 요청이 꾸준히 있어왔다는 점을 강조했다. 미국 텍사스주 하원의원인 그레그 카사르 역시 자신의 사회관계망서비스(SNS)에 이번 사건에 대한 글을 올리고 "극도로 우려스럽다"며 정기적·의무적인 독립 안전 시험과 감독, 보안사고 의무 공개를 요구했다.

[email protected] 김희선 기자