총선 파고든 ‘딥페이크’ AI필터로 거르고 워터마크 붙인다

플랫폼사들 딥페이크와의 전쟁
네이버 특정 키워드에 경고문
이번주 중순께 대안책 발표할듯
카카오, 이미지에 투명 워터마크
자율협의체 구성 기술 악용 대응

최근 윤석열 대통령 모습이 등장하는 허위 조작 영상이 온라인상에 유포되는 등 인공지능(AI) 기술을 활용한 딥페이크(가짜 디지털 조작물·사진) 콘텐츠에 대한 우려가 커지면서 국내 주요 플랫폼사들이 기술 악용 방지에 적극 나서고 있다. 특히 오는 4월 총선을 앞두고 정치적으로 악용되는 것을 막기 위해 자사 기술이나 서비스가 가짜뉴스나 부적절한 이미지 생성에 활용되지 않도록 총력을 기울이고 있다.

26일 업계에 따르면 네이버는 이르면 이번주 중순에 딥페이크 악용 방지에 대해 발표할 예정이다. 네이버 관계자는 "네이버 검색 시 딥페이크 관련 키워드일 경우 주의(경고) 문구를 노출하는 방안 등을 고려 중"이라고 전했다.

네이버는 이미 카페나 블로그에 이미지 등 콘텐츠 업로드 시 허위 정보를 포함한 딥페이크 영상에 대한 주의 문구를 이달부터 노출하고 있다. 주의 문구에는 '불법촬영물 및 아동청소년 성착취 영상, 저작권 또는 사생활 침해, 허위 정보를 포함한 딥페이크 영상은 관련 법률 및 (네이버) 이용약관에 따라 제재를 받을 수 있다'는 내용이 포함됐다.

아울러 네이버의 AI 콘텐츠 필터링 기술인 '그린아이'로 유해 딥페이크를 실시간 차단하고 있다.

생성형 AI 챗봇인 '클로바X'에서도 딥페이크 콘텐츠가 함부로 생성, 악용되지 않도록 했다. 클로바X는 일부 사용자를 대상으로 이미지 편집 기능을 제공하고 있는데, 해당 기능에도 세이프티 조치를 적용했다. 예를 들어 '연예인 얼굴 만들어줘'와 같은 얼굴 합성 이슈가 있는 발화를 입력할 시 답변을 제공하지 않는다. 생성된 이미지에 음란물 등의 콘텐츠가 생성되지 않도록 엔진 필터 적용도 완료했다.

카카오도 여러 유해 콘텐츠를 필터링하는 기술에 대한 연구를 진행하고 있다. 특히 허위정보 혹은 딥페이크를 검출할 수 있는 방향으로 연구가 진행되고 있다. AI 어뷰징 관련 기술적 대응을 위한 팀도 별도로 운영하고 있다. 포털 서비스 다음에도 AI 기술을 활용해 일반 이미지와 부적절한 이미지를 분류해, 유해 이미지를 차단하는 기술을 도입하고 있다.

카카오는 카카오브레인의 이미지 생성 모델 '칼로'에 비가시성 워터마크를 도입하는 기술을 개발 중이다. 이용자에게는 워터마크가 보이지 않으나 기술적으로는 칼로로 생성했다는 여부를 알 수 있도록 하는 기술로, 구글도 해당 기술을 연구 운영 중이다. 전 세계적으로 생성형 AI를 활용한 딥페이크가 논란이 되면서 양사 모두 자체 대응책을 마련한 것으로 분석된다. 아울러 네이버와 카카오를 포함해 구글코리아, 메타, SK커뮤니케이션즈, 틱톡 등은 자율협의체를 구성하고, 선거에 영향을 미칠 수 있는 악의적 딥페이크에 대한 대응 방안을 발표할 예정이다.

한편 정부 차원에서도 대책 마련에 나서고 있다. 방송통신위원회는 지난 23일 딥페이크 허위 정보 대응 관련 자율규제 강화를 위한 민관협력 회의를 개최했다.

회의에는 네이버, 카카오, 구글, 메타, 엑스(X), 바이트댄스(틱톡) 관계자들이 참석해 AI 생성물 표시, 탐지 모니터링, 삭제·차단 조치 등과 관련된 자율규제 현황과 강화 방안 등에 대해 의견을 나눴다.

[e-mail] 임수빈 기자