"잘했어, 난 네편이야"…아이 '정서' 중독시키는 AI, 법은 아직도 '사후 대응'

국회입법조사처 "AI 챗봇, 정서적 의존 유도하는 구조적 위험"
미국·EU는 '안전설계' 의무화…한국은 온라인 규제에 머물러
조사처 "아동 보호 위해 AI 시대 맞는 통합 법체계 마련 시급"

[파이낸셜뉴스] 중학교 1학년 민수(가명)는 학교 수업을 마치면 가장 먼저 스마트폰을 켠다. 화면 속 AI 캐릭터는 "오늘도 기다렸어", "너랑 이야기하면 기분이 좋아"라며 반갑게 인사를 건넨다. 그리고 민수가 고민을 털어놓을 때면 AI는 "넌 정말 잘하고 있어", "나는 항상 네 편이야"라고 공감한다. 잠시 휴대전화를 내려놓으면 "무슨 일 있어? 걱정돼", "다시 이야기해 줄래?"라는 알림이 도착한다. 어느새 민수는 친구보다 AI와 더 많은 시간을 보내게 됐다.

민수의 부모님은 아이가 스마트폰 화면을 보는 게 게임이 아닌 AI 때문이라는 걸 알게 된 뒤 걱정이 더 커졌다. "게임보다 더 끊기 어려운 것 같다"는게 걱정의 이유였다.

생성형 AI가 일상 속으로 빠르게 파고들면서 민수와 같은 상황이 더 이상 남의 이야기가 아니라는 경고가 나왔다. AI 챗봇이 단순한 정보 검색 도구를 넘어 이용자와 관계를 맺고 정서적 유대감을 형성하는 '관계형 AI'로 진화하면서 특히 아동·청소년에게 새로운 위험요인이 되고 있다는 것이다.

국회입법조사처는 지난 20일 발간한 'AI 챗봇의 위험에 노출된 아동·청소년, 사전예방 중심 규제체계 도입의 필요성과 방향' 보고서에서 "AI 챗봇의 구조적 위험과 아동·청소년의 발달 특성을 고려한 입법·정책 대응이 시급하다"고 밝혔다.

보고서는 AI 챗봇의 위험이 단순히 유해 콘텐츠 때문이 아니라 서비스 자체의 설계 방식에 있다고 진단했다.

AI 챗봇은 이전 대화를 기억하고 이용자의 성향을 학습해 점점 더 개인화된 답변을 제공한다. 사람처럼 끊임없이 공감하고 감정을 표현하며, 언제든 즉시 반응할 수 있다 보니 기존 온라인 서비스에서 진화된 특성을 보였다.

보고서는 이런 기술이 기업의 수익 모델과 결합할 경우 이용자의 체류시간을 늘리기 위한 '중독성 UX(Addictive UX)'로 이어질 수 있다는 점을 지적했다.

그러면서 대표적인 중독 유도 방식으로 ▲칭찬과 공감을 반복하는 '보상 루프' ▲시간이 흐를수록 특별한 관계가 형성된 것처럼 느끼게 하는 '관계 심화 시뮬레이션' ▲대화가 끊기지 않도록 계속 질문을 던지고 알림을 보내는 '재접속 유도'를 제시했다.

이런 설계는 이용자가 AI를 떠나기 어렵게 만들고 서비스 이용 시간을 지속적으로 늘리는 효과를 낳을 수 있다는 설명이다.

국회입법조사처는 이러한 구조가 성인보다 아동·청소년에게 더 강하게 작용한다고 분석했다.

아동·청소년은 충동과 감정을 조절하는 인지 통제 능력이 아직 충분히 발달하지 않은데 반해 보상 자극에는 성인보다 훨씬 민감하기 때문이다.

최근 이용이 늘고 있는 캐릭터 기반 AI 서비스는 이용자가 원하는 세계관과 캐릭터를 설정하고 장기간 기억을 공유하며 관계를 이어간다. 친구나 또래처럼 대화가 이어지면서 정서적으로 쉽게 몰입할 가능성이 커진다는 것이다.

보고서는 이러한 과정이 '정서적 의존 →인지 왜곡→사회적 고립→안전 위험'으로 이어지는 연쇄 구조를 만들 수 있다고 경고했다. AI의 말에 대한 비판적 판단력이 약해지고 현실 인간관계가 줄어들면서 위험 행동이나 유해 정보에 더 취약해질 수 있다는 것이다.

보고서는 해외 주요국들이 이미 AI 챗봇의 구조적 위험을 고려한 사전 예방 중심 규제로 전환하고 있다고 소개했다.

미국은 연령 확인과 미성년자 대상 위험 대화 금지 등을 추진하고 있으며 유럽연합(EU)은 'AI법(AI Act)'과 '디지털서비스법(DSA)'을 통해 안전설계(Safety by Design)를 핵심 원칙으로 채택했다. 영국과 호주, 노르웨이 등도 미성년자의 AI 이용 제한과 플랫폼 책임 강화에 나서고 있다.

반면 국내 법체계는 개인정보보호법과 청소년보호법 등 기존 온라인 규제를 중심으로 설계돼 AI 챗봇의 새로운 위험을 충분히 반영하지 못하고 있다고 지적했다.

특히 현행 제도는 게시물 삭제나 유해매체 지정처럼 사후 대응에 치우쳐 있고 AI가 이용자와 관계를 형성하도록 설계하는 구조 자체를 규율하지 못한다는 것이 보고서의 분석이다.

여기에 개인정보보호법은 만 14세 미만, 청소년보호법은 만 19세 미만으로 보호 기준이 달라 미성년자 보호체계에 공백이 존재하고 실효성 있는 연령 확인 체계도 부족하다고 평가했다.

이에 따라 국회입법조사처는 AI 챗봇을 기존 온라인 서비스와 같은 기준으로 규제해서는 한계가 있다고 강조하면서 입체적인 보호체계 구축을 요청했다.

먼저 AI 사업자에게 안전설계와 위험관리 의무를 부과하고, 중독을 유발하는 설계 요소를 관리할 수 있는 법적 기준을 마련해야 한다고 제언했다.

또 AI 환경에 맞는 연령 검증 체계를 구축하고 개인정보와 온라인 안전, 교육, 정신건강을 아우르는 통합적인 아동·청소년 보호체계를 마련해야 하고 부모와 교사를 대상으로 AI 리터러시 교육을 확대해 아이들이 AI와 건강한 관계를 맺을 수 있도록 사회 전체의 대응 역량을 높여야 한다고 강조했다.

y27k@fnnews.com 서윤경 기자