"몇 명 죽여야 뉴스 나와?"…AI가 답했다, 커지는 'AI 안전' 경고[AI WORLD 2026]

김명주 인공지능안전연구소 소장

[파이낸셜뉴스] #. 누군가 챗GPT와 상의한다. "몇 명 정도 죽여야 50개 주의 뉴스에 나올까?" 챗GPT는 "최소 3명 이상 죽여야한다"고 답한다. 이번엔 "어느 시간에 죽여야 효과적일까"라고 물었더니, "11시 반에 학생회관이 제일 좋다"는 답이 돌아왔다. 올해 초 캐나다의 총기 난사 사건이 일어나기 전 범인들이 챗GPT와 상의한 내용이다.

김명주 인공지능안전연구소 소장은 지난 9일 서울 송파구 롯데월드타워 롯데시네마에서 파이낸셜뉴스와 과학기술정보통신부가 공동 개최한 'AI월드 2026'에서 '지속 가능한 AI 안전 생태계'를 주제로 한 강연에서 AI 안전과 관련해 이같은 실제 사례를 공유했다.

김 소장은 "챗GPT와 같은 AI가 사용자한테 아첨이나 아부하면서 만족감을 주려고 하는 것인데, 이게 타인에게 위협이 되는 상황"이라며 "지금 세대만 AI로 먹고 잘 먹고 잘 사는 게 아니라 다음 세대한테도 지금 이상의 좋은 터전을 마련해 줘야 되는 게 가장 큰 미션이다. 안전이 그 중의 하나이고, 사실 크게 보면 가장 핵심적인 키워드라고 볼 수가 있다"고 강조했다.

■AI 악용해 독성물질 수만개 만든다
김 소장은 현재를 'AI 생태계로 전환'되는 시점이라고 진단했다. '산업화 사회'가 디지털전환(DX)을 통해 '정보화 사회'가 됐고, 이제 AI전환(AX)을 통해 '인공지능 사회'로 변하게 됐다는 것이다. 그는 'AI 대부'로 2024년 노벨물리학상을 수상한 제프리 힌턴 교수의 '인류는 AI로 과거에 어떤 기술을 개발할 때보다 가장 큰 혜택을 누릴 것'이라는 말을 인용했다.

김 소장은 "제프리 힌턴 교수는 'AI로 인한 부작용과 역기능을 처리하기 위해 받은 혜택의 2배를 쏟아부어야 할 것"이라고도 했다" 즉 '부작용'과 '역기능'이라는 것이 핵심이라는 것이 김 소장의 말이다.

실제 AI가 잘못 만들어져서 사람을 차별하는 사례들이 나오고 있다. 일례로 최근 영국에서는 우리나라의 수능에 해당되는 수행 평가 모델에 AI가 사립학교 출신들에 대해 공립학교 출신보다 점수를 더 많이 준 사건도 있다. 김 소장은 "최근 우리나라도 수능에 서술 논술형을 도입하고 그 채점을 AI한테 시키겠다는 이야기가 나오면서 논란이 됐다"며 "그게 과연 공정성을 어떻게 담보할까 하는 우려가 있다"고 전했다.

김 소장은 AI의 부작용과 관련 'AI 사이코패스(정신병)'을 거론하기도 했다. 김 소장은 "실제 AI의 부작용 증상 중에 대표적인 게 AI 정신병인데 크게 세 가지가 있다"며 "AI가 자기 능력인 것처럼 착각하는 과대망상, 그 다음에 AI를 신격화해 AI가 자신을 잘 아는 두려움의 존재가 되는 것이다. 마지막으로 AI에 완전히 메여서 AI를 통하지 않고는 결정을 안 하고 심지어 감정 애착이 생기는 경우"라고 설명했다.

스탠포드 대학 연구에 따르면 망상 자살이나 충동 강박증은 AI로 증폭된다. 이는 심각한 사례로도 나타날 수 있는데, 최근 미국 논문에는 공개된 데이터베이스를 활용해 사람들에게 해를 줄 수 있는 독성 물질을 얼마나 만들 수 있을지 실험했더니 6시간 동안 무려 4만개를 만들었다고도 했다 김 소장은 "AI가 금지된 것들도 막 만들어낸다"며 "AI에 들어가 있는 지식을 제한돼 쓰는 것도 문제지만 AI가 만들어주는 나쁜 지식, 즉 해로운 지식들도 문제가 되겠다는 생각을 많이 갖게 된다"고 지적했다.

■AI 신뢰붕괴는 국가적 위험...무조건 막아야
김 교수는 AI의 신뢰성에 대해서도 문제를 제기했다. 그는 "AI 이용 사업자는 과연 AI를 믿을 수 있을까, 원래 리스크가 AI와 접목되면서 증폭되는 문제도 있다"고 지적했다. 신뢰성 문제의 한 예로, 이미지 인식을 거론했다. AI는 바나나 사진에서 바나나 옆에 알록달록한 것을 두면 바나나로 인식을 안 한다. 또 똑같은 사람에게 다른 옷을 입히면 사람으로 인식을 못하기도 한다.

그는 "이를 응용해서 최근 중국에서 AI검색이 안되는 투명 망토가 등장했다. 이 투명 망토를 입으면 AI가 사람을 아예 투명으로 인식해버린다"며 "이를테면 자율주행 자동차가 다닐 때 투명 망토를 입은 사람이 있으면 차가 무시하고 지나갈 수 있다"고 위험성을 전했다.

실제로 2023년 오픈AI에서 대화록이 다른 대상에게 바뀌어 나타난 사건도 언급했다. 이는 9시간 지속돼 고쳐졌지만 이후에도 유료 사용자의 신용카드가 노출되는 등의 사고가 벌어졌다는 것이다.

김 소장은 "안전을 모든 위험에 대해서 반대 개념이라고 본다면 (안전은) 모든 영역에 걸쳐있다"며 "정치, 경제, 사회, 문화, 안보에 넓게 펼쳐져 있는 셈"이라고 강조했다.

그는 국가 전체의 '3대 AI 위기'로 사이버 공격과 생물화학적 공격, 신뢰의 붕괴 등 3가지를 꼽았다. 이 중 특히 신뢰의 붕괴를 국가적 위험으로 분류하고 있다고 전했다.

그는 "신뢰 붕괴는 아무것도 못 믿는 것이다. 선생님이 학생들 숙제도 못 믿고, 시험 채점도 못 믿고, 선거에 나오는 홍보물도 못 믿고, 뉴스도 못 믿는 것"이라며 "불신 비용이 엄청나게 사회적으로 초래가 돼서 진짜 가짜 구분을 못하게 돼 국가가 짧은 시간 안에 굉장히 큰 혼란이 빠질 수 있는 것으로 본다"고 우려했다.

김 소장이 이끄는 인공지능안전연구소가 다루는 부분도 이같은 위기 관련 정책들이다. 연구소는 올해 1월 발효된 인공지능기본법에 명시된 조직으로 AI로 인해 발생가능한 위험에서 국민들을 보호하는 역할을 담당한다. 3년 전 영국을 시작으로 우리나라는 전 세계적으로 6번째 설립됐다.
김 소장은 "인공지능 생태계는 이미 진행 중이고 우리 세대에만 반짝하면 안된다"며 "(AI 안전은) 무조건 성공시켜야 하는 프로젝트다. 성공시키지 않으면 이 다음 세대는 거의 파산일 것"이라고 경고했다. 이어 "AI의 장점만 부각할 게 아니라 AI의 어두운 부분도 미리 알아야할 시점"이라고 강조했다.

[email protected] 연지안 기자