국제 국제경제

80년 수학 난제, AI가 풀었다…새 패러다임 시작되나

송경재 기자

파이낸셜뉴스

입력 2026.05.31 05:57

수정 2026.05.31 05:57

[파이낸셜뉴스]

오픈AI의 AI(인공지능) 모델이 인간 수학자들이 80년 동안 매달려도 풀지 못했던 난제를 이틀도 안 걸려 해결했다고 월스트리트저널(WSJ)이 5월 29일(현지시간) 보도했다. AGI(범용인공지능) 시대가 머지 않았다는 평가가 나온다. AFP 연합
오픈AI의 AI(인공지능) 모델이 인간 수학자들이 80년 동안 매달려도 풀지 못했던 난제를 이틀도 안 걸려 해결했다고 월스트리트저널(WSJ)이 5월 29일(현지시간) 보도했다. AGI(범용인공지능) 시대가 머지 않았다는 평가가 나온다. AFP 연합

전 세계 수학자들이 80년 동안 해결하지 못했던 난제를 오픈AI의 인공지능(AI) 모델이 풀어냈다.

AI는 책 한 권 분량의 추론을 통해 이 난제를 해결한 것으로 알려졌다. 특히 수학자들은 명제가 참이라는 점을 입증하는 데 집중했지만 AI는 거짓이라는 점을 입증하면서 수학자들의 허를 찔렀다.

불과 몇 년 전만 해도 초등학생 산수도 풀지 못하던 AI가 이제는 최고 수준의 수학자로 진화했다.

단위 거리 문제

월스트리트저널(WSJ)은 5월 29일(현지시간) 오픈AI의 AI 모델 가운데 하나가 이른바 '단위 거리 문제(Unit Distance Problem)'라고 알려진 수수께끼를 해결했다고 보도했다.



단위 거리 문제는 헝가리의 전설적인 수학자 폴 에르되시가 1946년 제기한 것으로 "평면 위에 n개의 점을 자유롭게 찍을 때, 서로 간의 거리가 정확히 '1'인 점들의 쌍은 최대 몇 개가 나올 수 있을까?"라는 초등학생도 이해할 수 있을 만큼 직관적이고 단순한 기하학 질문이다.

에르되시는 점이 n개로 늘어날 경우 1만큼 떨어진 쌍이 가장 많이 나오려면 바둑판 모양(격자 구조)으로 정교하게 배열해야 할 것으로 추측했다.

필즈상 수상자도 극찬

수학자들은 지난 80년 동안 격자 구조가 최선임을 증명하는 데 매달렸다.

그러나 AI는 격자 구조가 아닌 완전히 새로운 방식으로 점들을 배열하는 규칙을 찾아냈다. 에르되시가 격자 구조 공식을 통해 예측한 것보다 더 많은 수의 '단위 거리 쌍'이 만들어진다는 점을 수학적으로 입증했다.

오픈AI에 따르면 많은 수학자들이 이 업적을 높이 평가했다.

프린스턴대 교수 노가 알론은 "많은 뛰어난 인간 연구자들이 시도했다가 실패한 일을 AI가 해냈다"고 평가했고, 티모시 가워스 콜레주 드 프랑스 교수는 학술지에 게재해도 손색이 없을 정도의 성과라고 말했다.

가워스 교수는 수학계의 노벨상이라고 부르는 필즈상 수상자이다.

그는 AI가 이보다 더 똑똑해지지 않는다고 해도 우리는 이미 새 시대 진입을 앞두고 있다면서 수학 문제를 푸는 데서도 인간이 AI와 경쟁하기가 매우 어려워질 것으로 전망했다.

이 난제 해결은 오픈AI 연구원 세바스티앙 부베크 조차 "1년 전은커녕, 한 달 전만 해도 믿기지 않았을 일"이라고 말할 정도로 AI의 성장세가 급속하다는 것을 방증한다.

전문 분야 아우르는 통섭

연구팀은 자사 내부 모델의 성능을 시험하기 위해 이 문제를 던졌을 뿐이지만 오픈AI의 AI 모델은 인간 수학자의 접근과 다른 방식으로 이를 해결했다.

에르되시의 추론이 맞다고 가정하고 이를 증명하려던 인간 수학자들과 달리 AI는 겉보기에 일어날 것 같지 않은 전략들을 실험해 예상치 못한 해법에 도달했다.

또 다른 차이는 통섭, 종합이다. 수학자들은 자신의 특정 전문 분야에 매몰돼 있지만, AI 모델은 이런 전문 지식들을 하나로 묶어 인간이 찾아내지 못하는 연결고리를 포착한다. 에르되시의 난제 해결을 위해 AI는 "마라톤과 장대높이뛰기만큼이나 서로 공통점이 없는 '대수적 수론'과 '이산 기하학'을 융합해 문제를 해결했다.

해리포터 한 권 분량 '사고 체인'

집중력과 끈기도 차이다.

AI가 이 난제를 아주 오랫동안 일관되게 생각하는 것이 가능했다. 모델의 '사고 체인(Chain of Thought)'을 요약한 버전조차 소설 '해리포터' 한 권 분량과 맞먹는 7만5000단어가 넘었다.

인간이라면 포기했을 정도의 시간, 주의력, 인내심, 집중력을 동원해 이 난제를 풀었다.

오픈AI 모델은 토큰 비용으로 1000달러, 작업 수행에는 32시간이 채 걸리지 않은 저렴한 비용과 적은 시간으로 이 문제를 해결한 것으로 추정됐다.

AGI 시대 예고편

이번 난제 해결은 AGI(범용인공지능)로 가는 가장 강력한 이정표이자, 패러다임의 전환을 알리는 확실한 예고편으로 해석된다.

인간이 80년 동안 풀지 못한 문제를 이틀도 채 안 돼 해결했다는 점에서 새로운 전환점이 머지않았음을 시사한다.

해리포터 한 권 분량의 생각을 흐트러짐 없이 이어갈 수 있는 인내심, 각 분야로 쪼개진 인간 전문가와 달리 이 분야 모두를 아우를 수 있는 통섭 능력, 그리고 지식 모방에서 이제 창조로 도약하게 됐기 때문이다.


다만 아직은 주어진 가이드라인과 규칙 안에서 최적의 경로를 찾아내는 추론 능력이 극대화된 단계일 뿐 뉴턴의 만유인력, 알베르트 아인슈타인의 상대성 이론과 같은 시대를 뒤흔드는 천재성은 아직 나타나지 않고 있다고 가워스, 부베크 등은 지적하고 있다.


dympna@fnnews.com 송경재 기자
dympna@fnnews.com 송경재 기자