"AI 평가 지표 중요성 커져…자동화보다 고객 만족도" [미리보는 AI World]

[파이낸셜뉴스] "좋은 성과 지표는 자동화를 얼마나 많이 했는지가 아니라, 고객에게 더 나은 결과를 주면서 책임 있게 운영됐는지를 보여주는 숫자다."
오는 9일 파이낸셜뉴스와 과학기술정보통신부가 공동 주최하는 'AI월드 2026'에서 기조강연자로 나서는 오순영 아마존웹서비스(AWS) 수석 솔루션즈 아키텍트는 7일 파이낸셜뉴스와 인터뷰에서 한층 고도화된 인공지능(AI) 에이전트가 조직 전반에 활용되면서 AI를 평가하는 성과 지표 중요성이 커질 것으로 내다봤다. AI를 통한 업무 자동화 여부보다 업무 완료율, 처리시간, 오류와 예외, 사람이 다시 손본 시간, 고객 만족도, 매출 기여, 규정 준수 여부 등 고객 요청을 얼마나 잘 수행했는지가 핵심 평가 기준이 될 것이란 예측이다. 오 아키텍트는 "직원에게 어떤 결과를 만들었는지 묻듯, AI 에이전트를 평가할 때 실제로 일을 잘 끝냈는지 살펴봐야 한다"고 강조했다.

그는 AI 에이전트를 제대로 활용할 수 있도록 조직 내 일하는 방식의 혁신도 필요하다고 봤다. 디지털 정보가 많고 업무 절차가 비교적 분명한 분야는 AI 에이전트가 대체하되, 사람 간 관계를 맺고 책임을 지는 것은 여전히 사람의 몫이라는 분석이다. 오 아키텍트는 "기업의 경쟁력은 AI의 숫자보다 필요한 능력을 안전하게 연결하고 바꿀 수 있는 관리 방식에서 나올 것"이라고 말했다.

다음은 오 아키텍트와의 일문일답.

ㅡAI 에이전트가 고도화되면서 어떤 분야에서 인적 변화가 가장 클 것으로 보나.

△자료를 찾고 정리하거나 초안을 만들고 정해진 절차대로 처리하는 일은 AI 에이전트가 맡는 비중이 커질 것이다. 목표를 정하고 예상 밖의 상황을 판단하며, 사람과 관계를 맺고 결과를 책임지는 일은 더 중요해질 것이고, 그것은 사람의 몫으로 남을 것으로 본다. 인적 변화는 고객서비스, 소프트웨어 개발, 금융·보험, 마케팅, 재무·법무처럼 디지털 정보가 많고 업무 절차가 비교적 분명한 분야에서 먼저 나타날 가능성이 높다.AI는 사람을 대체하는 기술이라기보다는 사람과 기술의 역할을 다시 나누는 계기를 만든다는 것에 더 가깝다.

ㅡ기업들이 AI 관련된 새로운 성과 지표를 조직이나 비즈니스 모델에 어떻게 도입할 수 있나.

△이제 답변이 얼마나 자연스러운지 만으로 AI를 평가하기는 부족하다. 직원에게 어떤 결과를 만들었는지 묻듯, AI 에이전트를 평가할 때 실제로 일을 잘 끝냈는지 살펴봐야 한다. 업무 완료율, 처리시간, 오류와 예외, 사람이 다시 손본 시간, 고객 만족도, 매출 기여, 규정 준수 여부 등이 기준이 될 수 있을 거다. 실제 아직 많은 조직이 AI의 성공을 판단할 분명한 기준을 충분히 갖추지 못하고 있다. 아마존에서는 항상 고객에서 출발해 거꾸로 일하는 '워킹 백워드(Working Backwards)'라는 방식을 쓴다. AI 성과 지표도 마찬가지다. 먼저 고객 요청이 들어와 해결될 때까지 하나의 업무를 고르고, 현재 시간·비용·품질을 측정한다. 그 다음 AI가 어디까지 맡고 언제 사람에게 넘길지 정해 기술 성능과 사업 성과를 함께 관리하면 된다. 예를 들어 상담 AI는 답변 정확도 뿐 아니라 한 번에 해결된 문의 비율, 재문의율, 문의 한 건의 전체 비용이 중요하다. 실패 사례도 숨기기보다 개선에 활용해야 한다. 좋은 성과 지표는 자동화를 얼마나 많이 했는지가 아니라, 고객에게 더 나은 결과를 주면서 책임 있게 운영됐는지를 보여주는 숫자다.

ㅡAI 발전으로 시장 규모가 작았거나 초개인화 서비스도 경제성을 가지면서 스타트업이나 중소기업의 경쟁력을 끌어올리는 계기가 될 것으로 보나.

△충분히 가능하다. AI 에이전트는 인건비 뿐 아니라 자료를 찾고, 여러 사람의 일정을 맞추고, 분석하고, 실행하는 데 드는 시간과 비용도 줄여준다. 과거에는 고객이 적어 전담 인력을 두기 어려웠거나 개인별로 설계하기에는 비쌌던 서비스도 새로운 사업이 될 수 있다. 스타트업과 중소기업은 작은 팀으로 시장조사, 개발, 고객지원, 영업자료, 해외 진출 준비를 동시에 진행해 아이디어를 더 빨리 시험할 수 있다. 다만, 누구나 비슷한 AI를 쓰게 되면 모델 자체만으로는 차별화하기 어렵다. 대기업을 흉내 낸 범용 서비스보다 특정 산업의 작지만 비용이 큰 문제를 깊게 해결하는 편이 유리할 수도 있다. AI가 기업 규모의 차이를 모두 없애지는 않겠지만, 작은 조직이 전문성과 속도로 더 큰 시장에 도전할 기회는 분명히 넓혀줄 것으로 본다.

ㅡ병렬로 일을 처리하는 방식이 기존 방식과 어떻게 다르고, 왜 업무 효율이 높을 수 있는지 구체적인 사례로 설명해준다면.

△AI 에이전트를 활용하면 하나의 목표를 작은 업무로 나눠 조사, 개발, 시험·문서 작성을 동시에 진행하고, 사람은 중간 결과를 확인한다. AI 수만 늘린다고 빨라지는 것은 아니다. 목표와 완료 기준이 분명하고, 필요한 자료와 업무 배경이 준비돼 있으며, 결과를 확인할 방법이 있어야 한다. 아마존 베드록 팀은 30명이 12~18개월 걸릴 것으로 예상됐던 AI의 핵심 시스템 재구축을 6명이 76일 만에 마쳤다. 이와 별도로 아마존 스토어의 시험 프로젝트에서는 50여개 팀 중 AI 도구와 새 업무방식을 적용한 25개 팀의 소프트웨어 배포 속도가 팀 규모 등을 고려한 기준으로 중간값 4.5배, 일부는 10배 이상 높아졌다. 이는 단순히 코드를 빨리 만든 결과가 아니다. 업무를 목표 중심으로 다시 나누고, AI에 충분한 배경정보를 주며, 시험과 확인을 앞단에 배치한 결과다. 일하는 방식의 핵심은 AI를 많이 쓰는 데 있지 않고, 일을 잘 나누고 이해시키며 확인하는 것이다.

ㅡ서로 다른 기능을 가진 AI들이 대화하고 협력하도록 돕는 표준 기술이 본격 활용되고 있다. 기술 표준이 갖춰진 기업의 업무 환경은 어떻게 바뀔까.

△기술 표준의 장점은 서로 다른 시스템을 쉽게 연결하는 데 있다. 표준이 자리 잡으면 업무는 부서나 프로그램의 경계보다 해결할 목표를 중심으로 움직이게 된다. 영업 AI가 고객 정보를 정리하면 재무 AI가 가격 조건을 살피고, 법무 AI가 계약 위험을 확인하는 식이다. 서로 연결되는 AI가 많아질수록 신원 확인과 권한 관리, 행동 기록이 중요해질거다. 앞으로 기업의 경쟁력은 AI의 숫자보다 필요한 능력을 안전하게 연결하고 바꿀 수 있는 관리 방식에서 나올 거라고 본다.

ㅡ수많은 AI 에이전트의 권한을 배치하고 관리하는 'AI 인사관리(HR)'도 경영진의 중요한 능력으로 떠오를 것으로 보이는데, 이를 어떻게 대비해야 할까.

△경영진에게 필요한 것은 AI를 많이 도입하는 능력이 아니라, 어떤 목표를 어디까지 맡기고 어떻게 확인할지를 설계하는 능력이다. 핵심은 각 AI가 무슨 일을 맡고, 어떤 정보와 도구를 쓰며, 어디까지 스스로 결정할 수 있는지를 분명히 하는 것이다. 회사가 사용하는 AI와 연결 도구, 담당 부서를 한곳에 정리해야 한다. 각 AI에는 직원의 직무 설명서처럼 목적, 사용할 수 있는 자료와 기능, 지출 한도, 금지 행동, 사람에게 넘겨야 할 상황을 적어둬야 한다. 아마존에서 서비스를 운영할 때도 각 서비스의 책임 범위와 운영 기준을 명확히 정의하는 것이 원칙이다. AI 관리도 다르지 않다. 꼭 필요한 만큼의 권한만 주고, 개발과 시험, 승인, 운영, 사용 종료까지 관리해야 한다. 성과도 사용 횟수가 아니라 일을 제대로 끝낸 비율, 비용, 실패 원인, 사람이 다시 손본 시간, 규정 준수 여부로 평가해야 한다. 결과의 최종 책임은 언제나 사람에게 있다.

ㅡAI를 쓸 때 무조건 똑똑하고 비싼 모델만 쓰는 게 정답이 아니라면, 기업이 AI 모델을 가성비 있게 활용하는 방안은 무엇인가.

△AI의 가성비는 이용료가 가장 싼 모델을 고르는 것 만으로 결정되지 않는다. 원하는 품질을 유지하며 업무를 끝까지 처리하는 전체 비용을 봐야 한다. 복잡한 판단에는 성능이 높은 모델을 쓰되, 분류, 요약, 형식 변경 같은 단순한 일은 작고 빠른 모델에 맡길 수 있다. 자주 반복되는 긴 내용은 한 번 처리한 뒤 저장해 다시 활용하고, 변하지 않는 업무 지침과 매번 달라지는 고객정보를 나눠 관리하면 비용을 줄일 수 있다.

ㅡAI 에이전트에게 전권을 줄 경우 예측하지 못할 사고가 발생할 수 있다. 인간 개입의 기준은 어떻게 마련해야 하나.

△모든 행동을 사람이 일일이 승인하면 AI의 속도와 효율을 살리기 어렵고, 모든 권한을 넘기면 사고가 났을 때 책임과 신뢰가 흔들릴 수 있다. 기준은 AI가 얼마나 똑똑한지가 아니라, 행동이 얼마나 위험하고 문제가 생겼을 때 되돌릴 수 있는지에 따라 정해야 한다. 그 사이의 업무는 사람이 지켜보며 이상이 있을 때 개입하고, 나중에 기록을 확인하는 방식이 적절하다. 중요한 것은 승인 버튼 하나가 아니다. 사용자와 AI의 신원 확인, 꼭 필요한 만큼의 권한, 금액·횟수·사용 기능 제한, 이상행동 탐지, 행동 기록, 즉시 멈출 장치를 함께 준비해야 한다. AI의 자율성을 안전하게 높이려면 통제를 없애기보다 기준을 더 분명하게 만들어야 한다.

[email protected] 장민권 기자