이 논문은 LLM이 통계·데이터 과학 업무를 보조할 때, 기존 평가들이 분석 대상이 이미 명시된 상태를 가정해온 것과 달리 사용자가 비정형적 목표와 이질적인 데이터를 가지고 온 상황에서 모델이 스스로 통계 과제와 관련 데이터를 판단해야 하는 상류 단계, 즉 '통계 문제 정형화'를 다룬다. 이를 통계 문제 분류와 변수 식별·역할 할당이라는 두 하위 과제로 분해하고, 5개 학제간 통계 교재와 데이터 과학 사례집을 기반으로 20개 대분류·85개 세분류 통계 문제 유형을 아우르는 1,013개 샘플의 벤치마크 StatFormBench를 구축했다. 14개의 오픈·클로즈드소스 LLM을 평가한 결과 최고 성능 제로샷 모델조차 세분류 분류 정확도 72.0%, 변수 집합 일치율 63.2%에 그쳤으며, 두 하위 과제 모두에서 일관되게 최고 성능을 보이는 모델은 없었고 프롬프팅 개선 전략의 효과도 제한적이거나 일관되지 않았다.

• •LLM이 비정형 목표에서 통계 과제와 관련 변수를 스스로 판단하는 '통계 문제 정형화' 단계를 새롭게 정의했다.
• •이를 통계 문제 분류, 변수 식별·역할 할당 두 하위 과제로 분해했다.
• •5개 통계 교재와 데이터 과학 사례집 기반 1,013개 샘플, 85개 세분류 벤치마크 StatFormBench를 구축했다.
• •14개 LLM 중 최고 제로샷 모델도 세분류 정확도 72.0%, 변수 일치율 63.2%에 그쳤다.
• •두 하위 과제 모두에서 일관되게 우수한 모델은 없었고 프롬프팅 개선 효과도 제한적이었다.