수능 수학, 국제수학올림피아드 따위(?)는 만점 맞은지 한참됨
그럼 AI의 수학 성능을 뭘로 평가할까?
현존 가장 어려운 수학 벤치마크였던 FrontierMath 4
수학과 교수들도 본인 분야 아니면 손도 못대고, 논문 뒤져가며 며칠동안 연구해야 풀까말까한 문제들로 구성됨
어제 나온 GPT-6 Astra가 98% 깨며 사실상 클리어
그래서 이번에 새로 나온 FrontierMath Erdős
아직 안풀린 (...) 수학계의 난제 68개로 구성됨
현재 최고점은 마찬가지로 어제 나온 GPT-6 Astra의 3%
