'틀린 답도 자신있게'...AI 약점 보완 RAG 기술 증권업계 주목

[파이낸셜뉴스] 최근 지브리 챌린지 열풍에 힘입어 생성형 AI가 폭발적인 관심을 끌고 있다. 오픈AI의 챗GPT 이용자 수는 어느덧 5억명을 넘어섰다. 사람들은 이제 궁금한 점이 있을 때, 업무적으로 자료가 필요할 때 등 일상 모든 순간에서 광범위하게 생성형 AI를 찾고 있다. 글을 써주고, 정보를 정리해주고, 질문에 답도 해주는 생성형 AI에 유저들이 열광하고 있으며, 동시에 AI에 대한 의존도도 점점 커지고 있다.

반면, 많은 이들이 AI의 한계도 경험하고 있다.

분명히 틀린 내용인데, 그럴듯하게 맞는 말처럼 답하는 AI의 모습에 당황했다는 경험담도 적지 않게 들린다. AI를 철썩 같이 믿었다가 망신을 당한 사례도 심심찮게 공유되고 있다. 이처럼 생성형AI가 실제로는 없는 정보를 지어내는 현상을 ‘할루시네이션(Hallucination)’이라고 한다.

11일 금융투자업계에 따르면 할루시네이션을 단순한 AI의 실수라고 볼 수는 없다. 이는 생성형 AI가 작동하는 방식에서 비롯된 구조적인 문제다. AI는 사실 여부를 판단하지 않는다. 입력된 질문에 대해 가장 그럴듯한 단어를 확률적으로 이어 붙이는 방식으로 작동하기 때문에, 때로는 사실이 아닌 내용을 진짜처럼 만들어낸다. 질문이 모호하거나, AI가 학습한 데이터가 부족하거나 부정확한 경우 이런 오류가 더 자주 발생한다.

이 문제는 생성형 AI의 신뢰를 떨어뜨리는 가장 큰 요인이다. 하지만 기술적으로 충분히 해결할 수 있는 분야이기도 하다. 현재는 다양한 방식으로 할루시네이션을 극복하기 위한 기술이 발전하고 있다.

우선 많이 사용되는 방법 중 하나는 ‘프롬프트 엔지니어링’이다. AI에게 질문을 할 때, 좀 더 구체적이고 명확하게 지시를 내리는 기술이다. 예를 들어, “기자처럼 설명해 줘”, “300자 이내로 요약해 줘”처럼 명확한 조건을 주거나, 예시를 보여주는 방식도 있다. 질문을 잘 설계할수록 AI도 더 정확하게 답할 가능성이 높아진다.

그러나 더 중요한 해결책은 AI가 답을 만들기 전에 믿을 수 있는 외부 정보를 참고하게 만드는 것이다. 이를 가능하게 하는 기술이 바로 ‘RAG(Retrieval-Augmented Generation)’이다. 일반적인 AI는 자신이 학습한 정보만 바탕으로 답을 만든다. 반면 RAG는 먼저 외부의 지식 저장소에서 관련 내용을 찾아보고, 그 정보를 바탕으로 답변을 생성한다. 혼자 생각해서 말하는 것이 아니라 자료를 찾아보고 나서 말하는 방식이다. 이 과정을 통해 할루시네이션을 줄일 수 있다.

이 기술을 한 단계 더 발전시킨 것이 ‘그래프RAG’다. RAG는 일반화된 기술이라 평균적인 성능을 구현한다면 그래프RAG는 도메인에 특화된 지식그래프를 구조화할 수 있다. 예를 들어 인물 간의 관계, 조직도 같은 복잡한 구조를 반영할 수 있어 더 정확하고 일관된 답변이 가능하다.

이런 기술을 실제로 구현할 수 있는 국내 기업 중에는 스카이월드와이드(SKAI)가 있다. PostgreSQL 기반의 자체 개발 그래프DB를 보유하고 있으며, PGVector를 유연하게 활용할 수 있는 기술력을 갖추고 있어 RAG는 물론 그래프RAG까지 전문적으로 구현할 수 있는 역량을 보유하고 있다.

특히 그래프RAG는 그래프DB의 구조와 활용 방식에 따라 성능 차이가 크게 벌어지는 고난도 기술인데, 스카이월드와이드는 이에 최적화된 그래프DB 전문성을 확보하고 있다. 이러한 기술적 기반을 바탕으로, 스카이월드와이드는 생성형 AI 시대에 필요한 고도화된 AI 활용 기술에 특화된 기업으로 주목받고 있다.

스카이월드와이드 관계자는 “생성형 AI는 앞으로 더 많은 분야에 활용될 것이 분명하지만 그만큼 신뢰할 수 있는 정보 제공도 중요해진다”며 “할루시네이션은 단순한 한계가 아니라, 보완할 수 있는 기술을 잘 설계하고 활용하면 충분히 해결할 수 있는 문제로, 당사와 같은 전문 기업이 보유한 RAG와 그래프RAG 기술은 더 정확하고 믿을 수 있는 AI를 만드는 데 중요한 역할을 하게 될 것”이라고 말했다.

[e-mail] 최두선 기자