서울표 '채움AI' 전국으로… 부산·인천도 AI 서·논술형 채점 도입

3개 교육청 공동 운영 협약 체결
3만건 데이터 기반 채점 일치도 0.8 달성

서울시교육청 전경. 서울시교육청 제공

[파이낸셜뉴스] 서울특별시교육청이 자체 개발한 인공지능(AI) 서·논술형 평가지원시스템인 '채움AI'가 부산과 인천 교육 현장에서도 사용키호 했다. 서울, 부산, 인천시교육청은 26일 업무협약을 체결하고, 미래형 평가 혁신을 위한 AI 서·논술형 평가 협력체제를 공동으로 구축하기로 했다고 25일 밝혔다.

채움AI는 서·논술형 평가의 자동 채점을 지원하는 도구다. 서울시교육청이 2025년 개발해 66개 실천학교에 적용했다. 이 과정에서 공통 문항과 루브릭을 활용해 약 3만건의 고품질 AI 학습 데이터를 축적했다.

시스템 운영 결과 인간 채점자와의 일치도인 'QWK' 지수는 0.8 이상을 기록했다. 통상 QWK가 0.7 이상이면 실제 평가 현장에서 활용 가능한 수준으로 간주한다. 채움AI는 이미 이를 상회하는 신뢰도를 확보한 셈이다.

이 시스템은 기존의 범용 모델이 아닌 서·논술 채점 전용 모델로 자체 개발됐다. 이에 따라 채점의 정확성과 일관성이 뛰어나며 교과별로 맞춤형 채점과 피드백을 제공하는 강점이 있다.

이들 교육청은 이번 협력을 통해 시스템을 더욱 정교화하고 시도 간 통일된 기준을 마련할 계획이다. 구체적으로는 AI 서·논술형 평가지원시스템 운영을 통한 평가 데이터 구축과 채점 결과 처리 체계 마련에 힘을 모은다.

또한 서·논술형 평가 문항을 공동으로 개발하고 검토하는 작업도 병행한다. 교원의 서·논술형 평가 역량을 강화하기 위한 연수 프로그램도 공동 운영할 예정이다. 협약 사항의 체계적 이행을 위해 별도의 협의체도 구성해 운영한다.

서울시교육청 관계자는 "AI 기술을 활용한 서·논술형 평가는 학생의 사고력과 표현력을 평가하는 미래형 평가의 중요한 방향"이라며, "교육청 간 협력을 통해 공정하고 신뢰도 높은 평가 체계를 구축하고, 학교 현장의 평가 혁신을 적극 지원하겠다"고 밝혔다.

한편, 이번 협약은 AI 기반 서·논술형 평가지원도구를 공동 운영해 미래형 평가 혁신 기반을 구축하고 채점 시스템의 정확성과 신뢰성을 높이기 위해 추진됐다.

협약식은 26일 부산에서 개최되며 서울특별시교육청 부교육감과 부산·인천광역시교육청 교육감 등 주요 관계자가 참석한다.

[e-mail] 김만기 기자