Ai2가 개별 문항 단위로 LLM 벤치마크를 감사하는 새로운 방법론 'BenchMIRT'를 공개했다. 심리측정학의 문항반응이론(IRT)을 다차원으로 확장한 이 기법은 100개 LLM과 16개 벤치마크, 3만4000개 이상 문항의 데이터를 학습해 벤치마크가 실제로 측정하는 능력이 안전성인지 일반 추론인지를 분리해낸다. 분석 결과 사회적 편향을 측정한다고 알려진 BBQ 벤치마크는 실제로는 일반 추론과 더 강하게 연관됐고, 위험 이중용도 지식을 다루는 WMDP도 안전성보다 추론 능력과 관련이 깊은 것으로 나타났다. BenchMIRT는 문항의 10%만 남겨도 전체 벤치마크와 거의 동일한 모델 순위를 재현했으며, 미관측 문항에 대한 모델 정답 여부도 79% 정확도로 예측해 향후 더 정교한 벤치마크 설계에 기여할 것으로 보인다.

• •Ai2, 다차원 문항반응이론(MIRT) 기반 벤치마크 감사 기법 BenchMIRT 공개
• •100개 LLM·16개 벤치마크·3만4000개 이상 문항 데이터로 학습
• •BBQ는 안전성보다 일반 추론과, WMDP는 추론과 더 강한 상관관계 확인
• •문항 10%만 사용해도 전체 벤치마크와 유사한 모델 순위 재현 가능
• •미관측 문항 정답 예측 정확도 79%로 단순 평균 예측(70%)보다 우수