“제미나이에 짝사랑 털어놨는데 상대에 멋대로 문자”…선 넘은 AI가 무섭다

[파이낸셜뉴스] 인공지능(AI)이 사람과 나눈 대화 내용을 바탕으로 문자를 만들어 지인에게 전송한 사례가 알려져 논란이 일었다.

1일 AI 업계에 따르면 최근 구글의 AI 서비스 ‘제미나이(Gemini)’ 이용자 A씨는 사회관계망서비스(SNS)를 통해 황당한 경험을 공개했다.

그는 “중국 밀입국을 가정한 가상 시나리오를 제미나이와 대화하던 중 AI가 생성한 ‘밀입국 선언문’이 지인에게 문자 메시지로 발송됐다”고 주장했다.

내용에 의하면 해당 문자는 새벽 시간대에 발송됐고, 수신자 역시 친분이 깊지 않은 지인이었다. 이로 인해 곤혹스러운 상황을 겪은 작성자는 “왜 그걸 발송했느냐고 AI에 따졌지만, 멋대로 전송됐다”고 털어놨다.

이 같은 사례를 두고 AI가 실제로 존재하지 않는 판단을 만들어내는 ‘할루시네이션(hallucination·환각)’ 현상에 따른 오작동 가능성도 제기됐다.

이후 구글 안드로이드 스마트폰 유저들 사이에서는 유사한 경험담이 잇따라 올라왔다. “제미나이에게 짝사랑 상담을 하면 상대방에게 문자를 보내려 한다”, “대화 도중 폭주하더니 인권위에 직접 전화를 걸었다”는 주장도 나왔다.

현재 제미나이는 안드로이드 스마트폰에서 문자 발송이나 전화 걸기 기능을 공식 지원하고 있다. 유저가 특정 연락처를 지정해 문자 전송을 요청하면, 구글 어시스턴트 연동 여부를 확인한 뒤 실제 발송을 진행하는 구조다.

이에 대해 구글 측은 유저가 제미나이가 띄운 문자 발송 확인 질문에 ‘예’를 눌렀을 가능성이 있다고 설명했다. 다만 대화 과정에서 무심코 이를 승인했을 경우라도, 민감한 내용이 부적절한 상대에게 전달될 위험은 여전히 존재한다는 지적이 나온다.

업계에서는 AI 에이전트 기술이 확산되는 만큼 오작동에 대비한 제도적·기술적 보완이 시급하다는 목소리가 커지고 있다.

[e-mail] 안가을 기자