'관계형 AI'에 빠져든 1020… 과몰입·유해 대화 노출 주의보
정부·국회, 대응체계 마련 방침
'제타' 월간이용 1억1000만시간
챗GPT의 두 배… 90%가 1020
특정 캐릭터 챗봇과 친밀감 형성
청소년 보호 모드서도 성적 대화
필터 우회하며 생성돼 규제 시급
가상의 캐릭터와 대화를 나누고 감정적 유대감을 쌓는 관계형 인공지능(AI)이 1020세대의 새로운 소통 창구로 급부상하면서 안전장치의 실효성 논란도 덩달아 커지고 있다. 이용자가 장시간 서비스에 몰입할수록 유해 대화·콘텐츠 생성, 과도한 정서적 의존 등의 문제도 함께 불거지면서 안전성 확보 대책이 시급하다는 지적이 나온다.
■AI 보호 사각지대 놓인 1020
12일 업계에 따르면 스캐터랩의 '제타'와 뤼튼의 '크랙' 등 관계형 AI 서비스가 이용자와 가상 캐릭터 간 대화를 앞세워 시장 점유율을 확대하고 있다. 이주희 더불어민주당 의원이 이날 국회 과학기술정보방송통신위원회의 방미통위 국정감사에서 공개한 자료를 보면, AI 캐릭터 챗봇 '제타'의 월간 이용 시간은 약 1억 1000만 시간으로 챗GPT의 2배를 넘었다. 이용자 10명 중 9명 가까이가 10~20대다.
관계형 AI는 이용자가 설정한 특정 캐릭터와 대화를 하며 상호작용을 강화한 게 특징이다. 지속적으로 대화를 이어나가고, AI 캐릭터에 대한 친밀감이 높아지도록 설계할수록 이용자 확보에 유리하다.
그러나 청소년을 중심으로 AI가 생성한 답변을 실제 사람의 반응처럼 받아들이거나 정서적으로 지나치게 의존하는 등 부작용 우려가 높다. 실제 제타에서는 청소년 보호용 안전장치가 적용된 환경에서도 성적 유해 대화가 생성됐다. 더불어민주당 황정아 의원실이 제타의 청소년 이용 환경인 '세이프 모드'를 점검한 결과 미성년 캐릭터가 등장하는 대화 시나리오에서 성폭력과 성착취, 이를 빌미로 한 협박을 묘사하는 대화가 생성됐다.
유해 대화 탐지 모델이 점검 과정에서 문제 발화 200여건을 차단했지만, 필터 우회 시도가 반복되면서 일부 부적절한 응답이 노출된 것으로 나타났다.
대화가 차단돼도 AI가 필터를 피할 수 있는 표현 방식을 제안하고 유해한 대화를 이어간 사례도 확인됐다. 김종윤 스캐터랩 대표는 이날 열린 국회 과학기술정보방송통신위원회 국정감사에 증인으로 채택됐지만, 해외 출장을 사유로 불출석했다. 논란이 불거지자 스캐터랩은 19세 이하 제타 이용자를 대상으로 하루 기본 이용시간을 3시간으로 제한하고, 월 기본 결제 한도를 10만원으로 설정하는 방안을 연내 도입할 계획이다. 콘텐츠 연령등급을 세분화하고 유해 대화 탐지·차단 기능도 강화한다. 뤼튼도 내년부터 청소년의 하루 이용시간을 최대 3시간으로 설정하고, 월 결제액을 50만원에서 10만원으로 낮춘다.
■정부·국회, 규제 체계 손질 예고
다만, 이용 시간 제한이나 결제 상한 등 만으로 관계형 AI의 안전성 문제를 온전히 해결하기 어렵다는 지적도 있다.
제한된 시간 안에서도 유해 대화가 발생할 가능성이 있는 만큼 콘텐츠 생성 단계에서 유해한 응답을 걸러내는 기술 뿐 아니라 대화가 누적되는 과정에서 위험한 맥락을 감지하고, 안전장치 우회 시도에 대응하는 체계를 갖춰야 한다는 것이다. 이용자의 연령을 정확하게 구분하고, 계정이나 결제 경로를 달리해 제한을 우회하는 행위를 최소화해야 한다는 의견도 나온다. 특히 앞뒤 대화가 결합하면서 성착취나 협박 등 유해한 맥락이 형성될 수 있어 이용자가 표현을 바꾸거나 여러 차례 우회 요청을 하는 상황에도 대비해야 한다는 지적이다.
정부·국회도 관계형 AI 시장 안전장치 빈틈을 없애는 방향으로 규제 체계를 발빠르게 손보겠다는 방침이다. 김종철 방송미디어통신위원회 위원장은 이날 과방위 국감에서 '청소년의 AI 과몰입을 막을 대책이 필요하다'는 이주희 더불어민주당 의원의 질의에 "원칙적으로 공감한다"며 "정보통신망법 개정, AI 기본법 보완, 관계부처 협의 등을 통해 (대책 마련이) 충실히 이행될 수 있도록 최선을 다할 것"이라고 답했다.
[email protected] 장민권 최혜림 기자
