AI 리스크 커지는데… 글로벌 보험사 "피해보상 못한다"

(3) 사고 책임은 누가
발전속도 못따라가는 위험 관리
생성형AI 환각·편향 리스크 발생
'AI 기본법'에도 책임 규정 없어
에너지 시스템부터 보안까지
AI 인프라 전반 대응체계 시급

그레이트아메리칸, WR버클리 등 글로벌 보험사들이 인공지능(AI)으로 발생한 사고에 대해서는 보험사 책임을 면책해달라고 규제 당국에 요청했다. 특히 WR버클리가 제안한 면책조항은 AI의 '사용·배포·개발 전반'을 포괄하는 구조로, AI 기술이 일부라도 적용된 서비스까지 포함하는 사실상 전면적 면책에 가깝다는 평가다.

AI 기술이 빠르게 발전하고 있지만 관련 법과 제도는 여전히 기존 틀에 머물러 있어 책임 공백 논란이 커지고 있다.

국내에서 시행한 AI기본법은 AI 악용을 방지하거나 일부 책임을 묻는 조항이 있을 뿐 보험산업 등 관련 업계에까지는 적용할 근거가 불투명하다. 이는 해외도 마찬가지여서 대형 보험사들이 금융당국에 AI 발생 사고에 대해서는 면책조항을 마련해 달라고 주장하는 상황이다.

■보험도 리스크 회피

28일 업계에 따르면 글로벌 보험사들은 당국에 AI로 발생한 사고에 대한 책임을 면책해 달라고 요청하는 한편, 보험사 데이터를 분석하거나 지원하는 데이터분석업체들도 보험사에 AI사고에 대해 면책조항이 필요하다는 점을 간접적으로 제시하고 있는 것으로 나타났다. 보험데이터분석업체 버리스크의 경우 표준약관에 AI 면책조항을 넣고 있는 것으로 나타났다. 리스크 산정의 최전선에 있는 보험에서조차 AI 리스크를 기존 방식으로 담보하기 어렵다는 우려가 커진 셈이다.

'AI 대부' 요수아 벤지오 몬트리올대 교수가 참여한 '국제 AI 안전 보고서 2026'에서는 AI시스템이 사전 테스트에서 예측하지 못한 실패를 실제 현장에서 드러내는 '평가 격차'가 존재하며, AI 역량은 빠르게 발전하지만 리스크 증거는 느리게 축적된다는 '증거 딜레마'를 핵심 과제로 지목했다. 글로벌 보험사들이 AI 리스크 인수를 거부하는 배경과 같은 맥락이다.

■"환각, 편향 등 오류 누가 책임지나"

국내 관련 업계 역시 비슷한 우려를 하고 있다. 보험연구원이 지난 2월 내놓은 'AI의 환각과 보험산업' 보고서는 "AI의 활용은 기업 경영과 국가 경쟁력 강화를 위한 필수 조건으로 자리매김했으나, 생성형 AI의 구조적 한계로 인해 환각, 편향, 침해 등 지금까지 경험하지 못했던 새로운 유형의 리스크를 초래하고 있다"고 지적했다.

이들이 가장 우려하는 부분은 AI 실수로 촉발되는 사고의 책임 소재를 가리기가 쉽지 않다는 점이다. AI는 수십억개 파라미터 연산을 통해 결과를 도출하지만 특정 판단에 이르는 내부 경로를 설명하기 어려운 '블랙박스' 구조를 갖는다. 자율주행차 사고나 AI 의료 오진이 발생했을 때 기존 시스템이라면 센서 오류, 코드 버그, 운전자 과실 등 원인을 특정할 수 있지만, AI는 어렵다. 동일한 사고가 발생해도 왜 그 판단을 내렸는지 시스템 내부에서 추적이 사실상 불가능하다. 원인을 특정할 수 없으면 과실 판단도, 책임 산정도 성립하지 않는다.

■제도도 공백…"갈 길 멀다"

제도 역시 공백 상태다. 올해부터 시행된 이른바 'AI 기본법'은 투명성·안전성 확보 등 사업자의 사전 의무를 중심으로 설계됐다. 그러나 AI 사고 발생 이후 피해자가 누구에게 배상을 청구할 수 있는지, 개발사·기업·클라우드 사업자 중 누가 어느 범위에서 책임을 지는지는 구체적으로 규정하지 않았다. 유럽연합(EU)의 AI법이 구체적 사건별 규제 항목을 갖춘 것과 달리, 한국 'AI 기본법'은 'AI는 안전하게 써야 한다'는 선언적 수준에 머물러 있다는 평가가 나오는 이유다.

정부가 현재 관련항목 작업을 진행 중인 것으로 알려졌지만 구체적으로 제시된 내용은 아직 없다.

최병호 고려대 AI연구소 교수는 "AI 에이전트에 권한을 위임하더라도 최종 책임은 결국 사람이 진다"며 "그 책임을 어떻게 규정할 것인지에 대한 법과 정책이 갖춰져야 하는데, '미토스'와 같은 당장의 위협에 비해 규제 논의 등은 시작 단계라 갈 길이 멀다"고 말했다.

그는 이어 "'미토스'급 AI는 이제 시작일 뿐이고 앞으로 계속 나올 것"이라며 "성능이 고도화될수록 리스크도 함께 커지는 만큼, 에너지 시스템부터 보안까지 AI 인프라 전반을 아우르는 국가 차원의 대응체계 마련이 시급하다"고 강조했다.

[e-mail] 조윤주 기자