MIRA-Math는 문제 해결에 필요한 원자적 사실 하나가 의도적으로 빠진 수학 문제를 주고, 모델이 부족한 정보를 자연어로 요청한 뒤 정답을 계산하는 능력을 진단하는 벤치마크다. 대수, 확률, 마르코프 체인, 회로 등 22개 유형에서 2,310개 문제를 생성했으며, 고정된 LLM 응답자가 요청이 정확할 때만 사실을 제공한다. 프런티어·소형 모델 실험 결과 '올바른 정보 요청'과 '최종 정답 정확도'가 분리되는 현상이 확인됐다. 즉 필요한 사실을 잘 물어보고도 계산에 실패하거나, 힌트 확보 단계에서 실패하는 경우가 모두 존재한다. 에이전트가 스스로 결핍된 정보를 파악해 질문하는 능력을 정량 평가할 도구가 생겼다는 점에서 의미가 있다.

• •필요한 사실 1개가 빠진 수학 문제에서 정보 요청 능력을 평가하는 벤치마크 MIRA-Math 공개
• •22개 수학 유형에서 2,310개 인스턴스 생성, 검증과 채점은 결정론적으로 수행
• •고정된 제약형 LLM 응답자가 요청이 데이터셋의 원자적 사실과 일치할 때만 정보 제공
• •정보 요청 성공률과 최종 정답 정확도가 분리됨을 실험으로 확인
• •생성기·검증기·프롬프트·메타데이터 전체 공개로 재현 가능한 평가 지원