앨런AI연구소(Ai2)가 AI 튜터가 학생을 도와야 할 때와 스스로 풀게 놔둬야 할 때를 얼마나 잘 구분하는지 평가하는 프레임워크 'TutorMoments'를 공개했다. 미국 2~7학년 수학 개인교습 실제 전사록 462건과 교사가 태깅한 핵심 순간 1500여개를 기반으로, 언어모델이 그 시점에서 학생을 도와줄지 사고를 유도할지 결정하게 한 뒤 교사 판단과 비교했다. 평가 결과 모델들은 대체로 과도하게 도와주는 경향을 보였고, 프롬프트에 트레이드오프를 명시하면 성능이 개선됐지만 인간 튜터 수준의 유연한 대응에는 미치지 못했다. 연구팀은 이 데이터셋과 코드를 공개해 AI 튜터를 만드는 연구자들이 교육학적 판단력을 개선하는 데 활용하도록 할 계획이다.

• •462건의 실제 개인교습 전사록과 교사 태깅 핵심 순간 1500여개 기반의 리플레이형 평가 프레임워크
• •테스트한 7개 LLM 모두 기본 프롬프트에서는 과도하게 도움을 주는 경향, 학생 스스로 사고하게 놓는 데 취약
• •트레이드오프를 명시한 평가인지형 프롬프트가 모든 모델 점수를 끠어올렸지만 인간 튜터 수준의 유연함엔 미달
• •인간 튜터도 완벽한 기준은 아니며(적정 심화 유도 0.182), 모델보다 훨씬 다양한 전략을 구사한다는 점이 확인됨
• •데이터셋(TutorMoments-Preview), 코드, 리플레이 결과를 모두 공개해 재현 연구 지원