AI 업무비서 실수해도 '처음부터 다시' 없이 틀린 곳만 고친다

(대전=뉴스1) 김종서 기자 = 한국과학기술원(KAIST)은 전산학부 김민수 교수 연구팀이 사람의 일상적인 질문을 데이터베이스에서 원하는 정보를 찾는 컴퓨터 명령어(SQL)로 바꾸는 과정에서 발생하는 오류를 찾아 수정하는 기술 '세이프큐엘(SafeQL)'을 개발했다고 4일 밝혔다.

프로그래밍 언어인 SQL은 최근 일상적인 말로 질문하면 AI가 이를 SQL로 변환해 활용하는 '텍스트 투 SQL' 기술로 활용되고 있다. 복잡한 컴퓨터 명령어를 몰라도 말이나 글로 질문해 필요한 데이터를 찾을 수 있다.

문제는 AI가 검색 명령을 만들면서 데이터베이스에 없는 테이블이나 항목의 이름을 잘못 사용하거나, 자료를 잘못 연결하는 등의 실수를 할 수 있다는 것이다. 이 경우 SQL이 실행되지 않아 AI가 필요한 데이터를 가져오지 못한다.

작은 오류 하나에도 챗지피티와 같은 생성형 AI 기반 대형언어모델(LLM)에 다시 보내 검색 명령 전체를 새로 만들어야 해 비용과 시간이 늘어난다.

세이프큐엘은 AI에게 검색 명령 전체를 다시 만들게 하는 대신, 데이터베이스가 알려주는 오류와 실제 저장된 정보를 이용해 어디가 잘못됐는지 찾아 해당 부분만 고친다. 존재하지 않는 테이블이나 항목을 사용했는지 확인하고, 빠진 자료의 연결이나 잘못 사용한 함수·검색값 등도 찾아 수정한다.

연구팀은 이를 위해 데이터베이스에서 실제로 실행할 수 있는 여러 수정안 가운데 원래 AI가 만든 명령과 가장 가까운 답부터 찾아가는 '안전 질의 공간' 방식을 설계했다. 가능한 수정안을 모두 확인하는 대신, 제대로 작동할 가능성이 높은 답부터 골라 확인하는 방식​이다.

특히 세이프큐엘을 세계적으로 널리 사용되는 공개형 데이터베이스 관리 프로그램 '포스트그레스큐엘(PostgreSQL)' 내부에 구현해 복잡한 명령에서도 오류가 발생한 위치를 정확하게 찾도록 했다. 틀린 부분만 고쳐서는 해결하기 어려운 경우에만 LLM을 다시 사용하도록 해 불필요한 AI 사용도 줄였다.

전 세계 연구자들이 AI의 데이터베이스 검색 능력을 비교하는데 쓰는 벤치마크를 통해 성능을 검증한 결과, 세이프큐엘은 AI가 처음 만든 SQL 실행 오류를 최대 87.4% 해결했다.

원하는 답을 정확하게 찾는 실행 정확도도 기존 최고 수준의 기술보다 최대 5.8%p 높였다. 검색 명령 전체를 AI에게 다시 만들게 하는 기존 방식과 비교하면 토큰 사용량은 최대 15.1배 줄이고, 오류 수정 시간은 최대 29.6배 단축했다.

김 교수는 "기업에서 AI가 실제 업무를 맡으려면 필요한 데이터를 정확하게 찾는 것이 중요하다"며 "세이프큐엘은 신뢰할 수 있는 AI 업무 자동화를 앞당길 것으로 기대한다"고 말했다.

KAIST 전산학부 이건호 연구원이 제1저자로 참여하고 김 교수가 교신저자를 맡은 이번 연구 결과는 1~5일 미국 보스턴에서 열리는 세계적인 데이터베이스 분야 국제학술대회(VLDB)에서 발표된다.