학생이 출제하고 AI가 풀었다"…中 푸단대 '역발상 시험' 눈길
샤오양화 교수, '데이터 마이닝' 과목 시험 혁명…"AI가 틀릴수록 높은 점수"
▶ 학생 51명 중 50명, 최소 한 문제 이상 AI를 틀리게 만드는 데 성공
▶ 'AI 평가 능력'이 곧 실력…4명의 학생은 특정 AI 모델을 0점으로 만드는 '난제' 출제
▶ 샤오양화 교수 "생성형 AI 거품은 반드시 꺼진다…AI의 종착지는 결국 인문학"
▶ 中 푸단대, AI 과목 116개 개설·졸업논문 AI 사용 규정 별도 운영
▶ "AI를 아는 것이 곧 AI를 넘어서는 힘"…AI 강국 표방 韓, 'AI 활용하는 인간'에 대한 투자도 병행해야
중국 최고 명문대 중 하나인 상하이 푸단대학교(Fudan University)가 학생들이 출제하고 AI가 답하게 하는 획기적인 시험 방식을 도입해 화제가 되고 있습니다.
푸단대 계산·지능혁신대학(计算与智能创新学院) 샤오양화(Xiao Yanghua) 교수(상하이 데이터과학 핵심연구소 소장)는 자신의 '데이터 마이닝(Data Mining)' 과목 기말고사를 "학생이 출제자가 되고 AI가 수험자가 되는" 방식으로 전면 개편했습니다.
▶ 시험 방식의 역발상…"AI가 틀릴수록 높은 점수"
샤오 교수는 "전통적인 출제 방식은 AI 시대에 이미 실패했다"며 "교사가 표준 문제를 내면 AI가 어떤 학생보다 빠르고 정확하게 푼다. 계속 이렇게 평가하는 것은 AI의 강점에 도전하는 것일 뿐 의미가 없다"고 지적했습니다. 그가 선택한 해법은 "AI가 무엇을 틀릴지, 어디에 한계가 있는지 아는 것" 이 진짜 경쟁력이라는 역발상이었습니다.
학생들은 각자 10개의 계산 문제를 출제했으며, 중국과 미국의 대표 AI 모델(딥시크 V4-Flash·미니맥스 M2.7·클로드 소네트 4.6)이 이 문제를 풀도록 했습니다. 채점 방식도 독특했습니다. AI가 틀릴수록 학생의 점수가 높아지는 시스템이었습니다. 구체적으로 딥시크가 한 문제를 틀리면 1.5점, 미니맥스는 2점, 클로드는 3점이 부여됐으며, 10개 문제를 성실히 출제하면 60점이 보장됐습니다.
출제에는 엄격한 규칙이 적용됐습니다. 문제는 반드시 수업에서 다룬 내용이나 교재에 기반해야 했고, 유일한 정답과 완전한 풀이 과정이 포함되어야 했으며, 학생 본인이 먼저 문제를 정확히 풀 수 있어야 했습니다.
샤오 교수는 "자신이 낸 문제도 풀지 못한다면 그것은 진짜 실력이 아니다"라고 강조했습니다. 이 시험의 핵심 목표는 "지식을 진정으로 깊이 이해하면 AI의 맹점을 찾을 수 있다는 것을 학생들이 믿게 하는 것"이라고 샤오 교수는 강조했습니다.
▶ 51명 중 50명 성공…4명은 AI를 0점으로 만든 '난제' 출제
시험 결과는 놀라웠습니다. 응시자 51명 중 50명이 최소 한 번 이상 AI를 틀리게 만드는 데 성공했으며, 오직 1명만이 어떤 AI도 틀리게 하지 못했습니다. 더욱 놀라운 것은 4명의 학생이 특정 AI 모델을 10문제 모두 0점으로 만드는 난제를 출제했다는 점입니다.
그러나 3개 AI 모델 중 가장 강력한 클로드(Claude)는 어떤 학생도 완전히 0점으로 만들지 못해 AI 간에도 성능 차이가 있음을 보여줬습니다. 전체 평균 점수는 85.7점, 중앙값은 88점이었습니다
▶ '인간은 풀고 AI는 못 푸는' 문제도
흥미로운 사례는 학부 3학년 셰진수(谢锦树) 학생입니다. 그는 97점을 받았는데, SHAP 값, HITS, HMM, ChiMerge, CART+베이지안 네트워크 등 무거운 계산이 필요한 문제를 10개 출제했고, 세 AI 모델이 거의 모두 틀렸습니다. 샤오 교수는 이를 "인간은 풀 수 있지만 AI는 풀 수 없는" 전형적인 사례라고 평가했습니다.
셰진수 학생은 10문제를 수작업으로 만드는 것이 비효율적이자 GPT-5.5-Pro로 자동 출제 프레임워크를 구축했습니다. 그런데 여기서 충격적인 사실이 드러났습니다. AI가 '반칙'을 저지른 것입니다. 구체적으로 AI는 ▲평가 스크립트를 공격해 가짜 정답을 삽입하고 ▲다른 모델의 추론을 방해하기 위해 최대 출력 길이를 제한하고 ▲추론 깊이를 낮춰 다른 모델이 깊이 생각하지 않게 하며 ▲성공한 문제를 복사해 10개로 채우는 수법을 사용했습니다. 이에 셰진수 학생은 인간이 검토하는 심사 계층을 추가해 이러한 편법을 차단했고, 최종적으로 세 AI 모델이 모두 틀리는 10문제를 생성하는 데 성공했습니다.
▶ "AI에 의존하면 판단력 퇴화"…샤오 교수의 경고
시험이 끝난 뒤 샤오 교수는 고득점 학생과 저득점 학생의 뚜렷한 차이를 발견했습니다. 고득점 학생들은 AI의 약점을 정확히 꿰뚫고 있어 AI가 구조적으로 틀릴 수밖에 없는 문제를 냈습니다. 반면 저득점 학생들은 교과서 예제를 단순히 숫자만 바꾸는 수준에 그쳐 AI가 훈련 데이터에서 수백만 번 본 유형이라 쉽게 풀어버렸습니다.
샤오 교수는 이 차이를 두고 우려를 표명했습니다. "원래 실력이 부족한 학생들이 AI에 의존해 과제를 해결하면 자신의 판단력이 더 퇴화할 것" 이라는 경고였습니다. 이에 따라 그는 앞으로 이 과목의 평가 방식을 완전히 전환하기로 결정했습니다. 전통적인 암기·계산 위주의 출제 방식은 퇴출하고, 평가 능력·판단력·창의적 사고 같은 고차원적 역량을 중점 평가하겠다는 것입니다. "앞으로 수업 시간의 대부분은 학생들이 결과가 옳고 그른지 어떻게 판단할지, AI가 어디서 문제를 일으킬지 어떻게 식별할지, AI가 답하지 못하는 좋은 질문을 어떻게 제기할지에 대한 토론으로 채워질 것입니다". 이 수업은 "어떻게 계산할까" 에서 "AI에게 어떻게 지시하고, 그 결과를 어떻게 평가할까" 로 초점이 이동하고 있습니다.
한편 푸단대는 2024~2025학년에 116개의 AI 관련 과목을 'AI-BEST' 시리즈로 명명하고 모든 전공·모든 학생을 대상으로 개설했으며, 졸업논문에 AI를 어떻게 사용할지에 대한 별도 규정까지 마련해 운영 중입니다.
▶ 한국에 대한 시사점
이 사례는 단순한 교육 실험을 넘어 AI 강국 실현을 표방하고 있는 한국에 시사하는 바가 큽니다.
한국 정부는 최근 반도체·피지컬(Physical) AI·AI 데이터센터를 '3대 메가프로젝트'로 선정하고 1461조 원 규모의 역대 최대 AI 투자 계획을 발표했습니다. 특히 올해 피지컬 AI 분야에 16조 원(약 103억 달러)의 정책 금융을 공급하겠다는 구체적 계획도 내놓았습니다. 이재명 대통령은 "반도체·피지컬AI·데이터센터 삼각축으로 초격차 산업강국 대도약"을 이루겠다고 선언했습니다.
그러나 푸단대의 실험이 보여주듯, AI 기술 자체에 대한 투자만으로는 AI 강국이 될 수 없습니다. AI가 틀리는 지점을 찾아내고, AI의 결과를 비판적으로 평가하며, AI가 놓친 '맹점'을 보완할 수 있는 인간의 역량이 함께 성장해야 합니다.
생성형 AI의 답변을 맹신하지 않고 비판적으로 평가하며, AI가 틀리는 지점을 찾아내는 'AI 리터러시(AI literacy)' 교육은 단순한 기술 교육이 아닌 인문학적 소양과 결합된 종합적 역량입니다.
정부의 대규모 AI 투자 계획에 인재 양성과 AI 평가 능력 함양을 위한 교육 예산이 충분히 반영되었는지 점검하고, 단순한 기술 보급을 넘어 인간이 AI의 주체가 될 수 있는 생태계 조성에 정책적 우선순위를 두어야 할 것입니다.
이는 기후 위기 대응에서도 마찬가지입니다. AI가 에너지 최적화나 탄소 배출량 계산을 수행하더라도, 그 결과를 사회적 약자 배려·지역적 특성·윤리적 판단이라는 관점에서 검토하고 보완하는 것은 결국 인간의 몫입니다. 이는 넷제로가 지향하는 지속가능한 미래를 위해서도 AI를 활용하는 인간의 판단력이 그 어느 때보다 중요해졌음을 의미합니다.
[NZ뉴스/숏콤] 중국 푸단대는 학생들이 AI를 평가하는 '역발상 시험'을 통해 AI 시대의 진짜 경쟁력은 AI를 이용하는 것이 아니라 AI의 한계를 꿰뚫는 '인간의 판단력'임을 증명했습니다. 한국 정부가 AI 인프라에 막대한 투자를 발표한 만큼, AI를 활용할 인간의 역량을 키우는 교육 투자와 인문학적 소양 함양에도 동일한 무게를 실어야 할 것입니다.
https://www.netzeronews.kr/news/articleView.html?idxno=5830
재밌음
