챗GPT, 간단한 계산문제 틀려… 회계시험 낙제

14개국 186개 대학 참여해 회계문제 제출해 테스트
챗GPT는 47.4점… 회계학과생은 평균점수 76.7점

[파이낸셜뉴스] 오픈AI가 개발한 대화형인공지능(AI) 챗GPT는 간단한 계산을 엉뚱하게 틀리고 설명은 맞지만 잘못된 답을 선택하기도 했다. 챗GPT가 과제를 설계하고 프로젝트 일부를 초안으로 작성하는데 도움이 되겠지만 맹목적으로 사용하기에는 개선해야 할 부분이 아직 많은 것으로 나타났다.

미국 브리검 영 대학의 대이비드 우드 회계학과 교수팀이 챗GPT에게 회계시험을 보게 한 결과 낙제 점수를 받았다.

미국 의사면허시험과 법학전문대학원(로스쿨), 경영전문대학원(MBA) 시험은 물론 15개의 대학과목 선이수제(AP) 시험중 13개 통과했던 챗GPT가 47.4점을 받은 것.

24일 연구진에 따르면, 브리검 영 대학 회계학과 학생들과 챗GPT는 14개국 186개 대학 327명의 연구진이 함께 출제한 회계학 시험문제를 풀었다. 시험문제는 회계 정보 시스템(AIS), 감사, 재무회계, 관리회계 및 세무 분야를 OX, 객관식, 단답형으로 만들었다.

그결과, 회계학을 배우는 대학생들의 평균점수가 76.7점 인데 반해 챗GPT는 47.4점에 그쳤다. 전체 문제 중 AIS와 감사 등 11.3%는 챗GPT가 학생들보다 높은 점수를 받았다. 하지만 세무와 재무, 관리 평가 항목에서는 성적이 나빴다. 연구진은 "챗GPT가 계산하는 것에 대해 어려움을 겪어 이 항목에서 성적이 좋지 않은 것 같다"고 유추했다.

또한 문제 유형별로 차이가 있다는 것도 알아냈다. 챗GPT는 OX 문제는 68.7%, 객관식 문제는 59.5%를 맞췄다. 하지만 단답형 주관식 문제에서는 정답률이 28.7%에 그쳤다.

또한 연구진은 이번 시험을 통해 챗GPT의 특징을 발견했다. 연구진은 "챗GPT는 고차원적 질문에 대해 답하는 것을 어려워했고, 때로는 엉뚱하게 대답하기도 했다"고 말했다. 문제를 풀때 뺄셈을 해야하는데 나눗셈을 하고 덧셈을 하는 등 엉뚱한 오류를 범했다.

또 설명은 잘 했지만 틀린 답을 내놨다. 뿐만아니라 참고문헌을 제시할때 존재하지 않은 저자와 있지도 않은 참고문헌을 만들기도 했다.

이번 시험에 참여한 학생은 "완벽하지 않은 챗GPT만을 이용해 배우려고 하면 안된다"고 지적했다.

[e-mail] 김만기 기자