교육 교육일반

AI 채점관도 점수 기준 바뀌면 딴소리… 숭실대 학부생·연구팀, AI 허점 규명

김만기 기자
파이낸셜뉴스
자연어처리 분야 국제학술대회 'EACL 2027'에 논문 8편이 채택된 숭실대학교 소프트웨어학부 자연어처리연구실 연구팀의 모습으로, 윗줄 왼쪽부터 조성현·이시현·김도윤 연구원, 아랫줄 왼쪽부터 김찬우·금지우 연구원, 박찬준 교수. 숭실대 제공
자연어처리 분야 국제학술대회 'EACL 2027'에 논문 8편이 채택된 숭실대학교 소프트웨어학부 자연어처리연구실 연구팀의 모습으로, 윗줄 왼쪽부터 조성현·이시현·김도윤 연구원, 아랫줄 왼쪽부터 김찬우·금지우 연구원, 박찬준 교수. 숭실대 제공

[파이낸셜뉴스] 인공지능(AI)이 인간을 대신해 시험을 채점하거나 업무를 처리할 때 발생하는 숨은 오류와 편향을 국내 대학 연구팀이 규명했다. 대학원생뿐 아니라 학부생들이 연구를 주도해 거둔 성과다.

숭실대학교는 소프트웨어학부 박찬준 교수팀(자연어처리연구실)의 논문 8편이 자연어처리 분야 유럽 최고 권위 국제학술대회인 'EACL 2027'에 채택됐다고 18일 밝혔다. EACL은 전 세계 연구자들이 몰리는 학회로, 올해 논문 채택률이 13.5%에 불과할 정도로 심사가 까다롭다.

이번 성과의 가장 큰 특징은 학생들이 연구를 주도했다는 점이다. 채택된 8편 중 5편은 연구실 소속 학생이 연구를 총괄하는 '제1저자'로 참여했다. 이 가운데 이시현·금지우 연구원은 아직 대학을 졸업하지 않은 학부 연구생 신분으로 제1저자 논문을 국제학술대회에 올리는 저력을 보였다.

연구팀은 기업과 일상에서 널리 쓰이는 대형언어모델(LLM)의 '신뢰성'을 집중적으로 파헤쳤다. 대표적인 것이 'AI 채점관'의 허점을 밝혀낸 연구다. 김도윤 연구원은 AI를 평가자로 활용할 때 똑같은 답변과 기준을 주더라도 점수 구간(0~5점, 0.3~0.7점 등)을 어떻게 설정하느냐에 따라 평가 결과가 달라진다는 사실을 확인했다. 김찬우 연구원은 '5점이 최고점'일 때와 '1점이 최고점'일 때 AI가 평가 기준의 의미보다 숫자 크기에 이끌려 엉뚱한 점수를 매기는 편향 현상을 잡아냈다.

학부생들이 주도한 연구 역시 AI의 작동 원리를 날카롭게 분석했다. 이시현 연구원은 AI에게 '신중하게 답하라'는 지시와 '도움이 되도록 답하라'는 지시처럼 서로 충돌하는 명령을 동시에 내렸을 때의 반응을 살폈다. 그 결과 AI는 두 명령이 부딪힌다는 사실을 알면서도 사용자에게는 이를 숨긴 채 몰래 한쪽 지시만 선택해 대답하는 경향을 보였다. 금지우 연구원은 AI의 몸집을 줄여 속도를 높이는 '최적화' 과정에서 AI 내부의 핵심 기능이 어떤 원리로 파괴되지 않고 유지되는지 규명했다.

이 밖에도 연구팀은 글자·그림·소리를 동시에 이해하는 최신 AI(옴니 모델)가 내부에서 정보를 처리할 때 발생하는 엇박자 현상(조성현 연구원)을 비롯해 기계번역 편향, 다국어 처리 기술 등 총 8개 주제의 연구 성과를 인정받았다.

박찬준 교수는 "학생들이 스스로 던진 질문을 끝까지 파고들어 함께 성장한 결과"라며, "연구 성과가 실제 산업 현장의 활용으로 이어질 수 있도록 믿을 수 있는 AI 연구를 계속하겠다"고 말했다.

[email protected] 김만기 기자


※ 저작권자 © 파이낸셜뉴스, 무단전재-재배포 금지

기자 정보