TII(아랍에미리트 기술혁신연구소)가 공개한 QIMMA는 아랍어 LLM 벤치마크 109개·약 52000 샘플을 체계적으로 감사해 번역·인코딩·문화 편향을 걷어낸 아랍어 평가 프레임워크다. Qwen3-235B와 DeepSeek-V3 두 모델 자동 평가 + 네이티브 아랍어 검수 파이프라인으로 품질을 검증했고, 정제 후 모델 크기-성능 관계가 일관되지 않음을 보여 '파라미터만 키우면 된다'는 가정을 반박한다. 네이티브 아랍어 99% + 코드 평가 + 공개 per-sample 출력 조합은 기존 아랍어 리더보드에 없던 특성이며, 저자원·지역 특화 언어 LLM 전반에 '벤치마크 감사' 메타 레이어가 필요하다는 방법론적 전환을 제시한다.

• •TII QIMMA가 아랍어 벤치마크 109개·52000여 샘플을 체계적으로 감사해 번역·인코딩·문화 편향을 제거했다.
• •Qwen3-235B·DeepSeek-V3 자동 평가 + 네이티브 검수 파이프라인으로 평가 품질을 검증했다.
• •정제 후 모델 크기-성능 관계가 일관되지 않아 파라미터 스케일만으로는 아랍어 성능을 담보할 수 없음을 보였다.
• •네이티브 아랍어 99% + 코드 평가 + per-sample 출력 공개 조합은 기존 아랍어 리더보드에 없던 특성이다.
• •저자원·지역 특화 언어 LLM 평가 전반에 '벤치마크 감사' 메타 레이어가 필요함을 제기한다.