사람 대신 일하는 AI, 통제는 어떻게…카카오, 윤리 원칙 마련

연내 체크리스트 적용

[파이낸셜뉴스] 인공지능(AI)이 사람을 대신해 예약하고 정보를 검색하는 등 스스로 업무를 수행하는 시대가 다가오면서 AI의 행동을 통제할 안전장치 마련이 중요해지고 있다. 이에 대응해 카카오는 AI에 부여할 권한과 개인정보 접근 범위, 비상시 제어 방안 등을 사전에 점검하는 체계를 마련한다. AI 서비스의 기획부터 운영까지 위험 요소를 살피고 연내 관련 체크리스트를 적용할 방침이다.

카카오는 지난 13일 카카오 AI 캠퍼스에서 열린 개발자 콘퍼런스 'if(kakao)26'에서 자율형 AI 에이전트에 대응하기 위한 새로운 윤리 원칙과 이행 가이드를 공개했다고 15일 밝혔다.

이번 가이드의 핵심은 AI가 스스로 목표를 설정하고 업무를 수행하는 과정에서 발생할 수 있는 위험을 사전에 파악하고, 사람이 이를 통제할 수 있도록 하는 데 있다. 기존 AI가 이용자의 질문에 답하거나 콘텐츠를 생성하는 데 집중했다면, 자율형 에이전트는 외부 정보와 서비스에 접근해 여러 단계의 작업을 수행할 수 있다. 그만큼 AI에 부여된 권한이 적절한지, 이용자의 의도에서 벗어난 행동을 막을 수 있는지 등을 점검할 필요성이 커졌다는 설명이다.

카카오는 이를 위해 자율형 에이전트의 위험 요소를 △통제 주도권 △목표 △권한 △참조 자원 △상호작용 등 5개 영역으로 구분했다. AI가 이용자의 지시와 다른 방향으로 행동하거나 허용된 범위를 넘어 정보에 접근하는 상황 등을 고려해 인간의 감독과 비상 제어, 권한 통제, 데이터 보호 등 대응 방안을 연계했다.

이 같은 기준을 실제 서비스 개발과 운영 과정에서 확인할 수 있도록 'AI 윤리 이행 체크리스트'도 마련했다. 체크리스트는 서비스 속성 파악, 사전 위험 선별, 통제 항목 점검·판정 등 3단계로 구성되며 연내 적용될 예정이다. 윤리 원칙을 선언하는 데 그치지 않고 서비스별 위험 요소를 점검하는 절차로 구체화했다는 점이 특징이다.

아동·청소년 보호도 주요 점검 대상에 포함됐다. 카카오는 지난해부터 운영해 온 '디지털 아동·청소년 보호 체크리스트'에 더해 경제협력개발기구(OECD)와 유니세프의 아동 온라인 위험 분류 체계인 '5Cs'를 참고해 AI 서비스 특유의 위험 요소를 새 체크리스트에 반영할 계획이다.

새 윤리 원칙인 'SPIRIT'은 안전, 프라이버시, 포용, 책임, 이용자 주체성, 투명성과 신뢰성 등 6가지로 구성됐다. '대한민국 인공지능 윤리원칙'의 3대 가치와 7대 원칙을 주요 이행 기준으로 삼고 카카오 서비스의 특성에 맞게 보완했다. 이를 조직 차원에서 실행하기 위한 이행 체계는 'NORMA'로 정의했다.

이번 원칙과 가이드는 지난 7월 발족한 AI앤기술윤리소위원회 외부 자문단 7명과 함께 이달 초 마련했다. 외부 자문단은 국내외 AI 규범과의 정합성을 검토하고, 카카오 내부의 AI 안전·개인정보·정보보안·서비스 관련 부서는 실무 적용 가능성을 점검했다.

하진화 카카오 AI 커뮤니케이션 수석은 '윤리를 깨는 자율 에이전트, 어떻게 대응할까?' 세션에서 AI의 자율성이 확대되는 환경일수록 인간의 판단과 책임을 명확히 하고 윤리 원칙을 서비스 설계와 운영에 반영해야 한다고 강조했다.

김세웅 카카오 AI앤기술윤리소위원회 위원장은 "AI의 자율성이 커지는 만큼 사람의 판단과 책임을 분명히 하고, 이용자가 안심하고 사용할 수 있는 AI 서비스를 만들어 가겠다"고 말했다.

[email protected] 최혜림 기자