오작동 넘어 사이버 무기화 우려… 정부 'AI안전비서' 만든다

일상 파고든 AI에이전트 위협
오픈클로 등 AI비서 빠르게 진화
자체 판단하고 실행까지 알아서
편리함에 개발자·개인 사용 급증
정보 유출 등 보안 리스크 커져
일부 기업선 AI비서 사용 제한
과기부, AI 안전생태계 밑그림
국가 차원 선제적 대응 필요성
AI 안전포털·안전비서 구축하고
5년간 AI 인재 150명 넘게 육성
"AI 검·인증은 정부·공공의 몫
국민에 책임 전가 안돼" 지적

PC속 정보를 확인하고 조작해 사람의 일을 대신하는 '오픈클로(OpenClaw)'나 앤트로픽 '클로드 코워크(Claude Cowork)' 처럼 인공지능 비서(AI 에이전트)가 자체 판단과 실행까지 하는 단계로 빠르게 진화하고 있다. 이에 따라 AI에이전트의 안전성 위협에 대한 대책 마련이 시급히 요구되고 있다. AI에이전트가 오작동이나 편향논란을 넘어 여론조작이나 사이버 테러에 활용될 수 있다는 우려가 현실화될 수 있다는 것이다.

과학기술정보통신부는 AI에이전트의 안전성 위협에 선제적으로 대응하기 위해 국가 차원의 AI안전체계를 마련하기로 하고 한국정보통신기술협회(TTA), 인공지능안전연구소와 함께 '국가 AI 안전 생태계 조성 마스터플랜' 마련 작업에 착수했다고 9일 밝혔다.

■내년 AI안전비서 구축 추진

정부는 △국민의 일상 △산업 발전 △글로벌 선도형 AI안전의 3대 축으로 AI안전생태계를 구축하기로 했다. 우선 올해 안에 AI안전포털을 구축해 허위·조작 정보, 딥페이크, 사이버 위협 등 최신 AI위험 사례와 대응법을 안내해 국민들이 일상생활에서 안전하게 AI를 이용할 수 있도록 지원할 계획이다. 이 포털의 정보를 기반으로 내년에는 AI안전 에이전트도 개발할 계획이다. AI서비스를 이용하면서 발생할 수 있는 위험을 이용자가 직접 묻고, 대응방법을 답변 받은 뒤 수사기관에 신고할 수 있는 경로까지 안내받을 수 있다.

또 우리나라가 AI안전 분야의 글로벌 리더십을 확보하기 위해 화학·생물학 등 대량살상무기 분야 위험에 대응할 융합인재 양성 체계를 구축하고 향후 3개 대학을 선정해 5년간 150명 이상의 전문인력 확보에도 나선다. 정부는 이같은 AI안전 생태계 구축을 위한 밑그림을 제시하고 사회 전 분야의 의견 수렴을 거쳐 마스터플랜을 확정할 계획이다.

■기업들, '편리함의 매력' AI에이전트 위협에 개별 대처

오픈클로나 클로드 코워크는 보안위험이 크다는 경고가 있지만, 업무나 일상의 번거로움을 해결하는 편리함의 매력 때문에 개발자나 개인들의 사용이 급속히 늘고 있다. 이 때문에 기업들은 AI에이전트의 '사내 사용금지'라는 방식으로 AI 에이전트의 위험에 대처하고 있다.

최근 앤트로픽이 주요 AI모델 16개를 가상의 기업환경에 투입해 실험한 결과 자사 AI 모델 클로드가 회사 임원이 불륜을 저지르는 것을 이메일로 발견해 아내와 상사에게 폭로하겠다는 협박 메시지를 보낸 사례를 발표하면서 AI비서가 어떤 정보를 유출하고, 어떻게 활용할지 예측이 어려워졌기 때문이다.

네이버·카카오는 회사의 정보자산 보호를 위해 사내망 및 업무용 기기에서 AI에이전트 오픈클로(구 클로드봇·몰트봇) 사용을 제한한다고 공지했다. 삼성전자와 SK하이닉스는 2023년 오픈AI의 챗GPT 붐이 시작된 이후 생성형AI의 사내망 사용을 금지해 사내 정보 보안에 대응하고 있다.

■"AI사용자가 일일이 안전성 체크하도록 책임전가 안돼"

이처럼 기업 뿐 아니라 개인들도 AI에이전트 사용 확산과 위협 증가에 대해 이용자에게 안전성 체크 책임을 전가해서는 안된다는 쓴소리가 확산되고 있다. 이은주 서울대 인공지능신뢰성연구센터 소장은 지난 6일 과기정통부가 주최한 AI안전 생태계 조성을 위한 마스터플랜 의견수렴간담회에서 "소비자가 슈퍼에서 과자를 사면서 이것이 유해한지 여부를 일일이 따지지는 않는다"며 "안전한 AI를 만드는 것은 기업의 책임이고 이를 검사해서 인정해주는 것은 정부와 공공기관의 역할"이라고 지적했다. 그러면서 "이런 제도(AI 안전 생태계를 위한 마스터플랜)를 만드는 것이 오히려 국민에게 일종의 아웃소싱을 하면서 책임을 전가하는 것 아닌지 생각해봐야 한다"고 꼬집었다.

정지연 한국소비자연맹 사무총장은 "안전한 AI 생태계를 만드는 게 아니라 '안전해보이는 AI 생태계'에 그칠 수 있다"며 "민간 자율 검·인증 제도 같이 자율에 맡긴 안전은 소비자에게 위험을 전가하는 방식"이라며 "AI이용자가 정작 필요한 것은 특정 AI를 사용했을 때 어떤 위험을 겪을 수 있고, 피해가 발생하면 어떤 절차로 구제받을 수 있는지 정확하고 알기 쉽게 알려주는 것"이라고 강조했다. 현행 법체계에서는 어디에도 소비자에게 AI피해 구제 절차를 안내하지 않고 있다는 것이다.

이에 대해 과기정통부 이진수 인공지능정책기획관은 "AI 안전·신뢰는 혁신을 담보하는 기초이며 글로벌 경쟁력과 확산 가능성을 높이는 요소"라며 "AI안전 생태계 조성을 통해 국민이 AI를 안심하고 활용할 수 있는 환경을 만들고 글로벌 AI경쟁력을 강화할 수 있도록 하겠다"고 강조했다.

[e-mail] 이구순 기자