여러 벤치마크에서 소수의 프롬프트 부분집합만 뽑아도 전체 평가와 유사한 모델 점수·순위를 재현하는 'LLM 벤치마크 코어셋 선택' 문제를 다뤘다. 제안 방식은 모델 평가 결과를 전혀 쓰지 않는 평가-비지도(evaluation-unsupervised) 방식으로, DPP·부분모듈 상호정보·시설 위치(facility location) 함수 등 다양한 부분모듈(submodular) 목적함수를 개발·비교했다. 5개 역량 범주의 35개 벤치마크, 18개 프론티어 LLM, 6.1만여 개 프롬프트로 구성한 대규모 스위트에서, 저렴한 의미 임베딩만 쓰는 시설 위치 함수가 점수 기반·다양성 기반 12개 베이스라인보다 모델 점수를 더 잘 보존했다. 점수가 풍부한 설정에서도 같은 목적함수가 MMLU·MTEB 리더보드에서 최신 기법과 대등하거나 우수하면서 계산 비용은 훨씬 낮아, 부분모듈성이 벤치마크 압축의 신뢰할 만한 도구임을 보였다.

• •모델 평가 결과 없이 프롬프트 수준의 미세 입도로 코어셋을 선택하는 평가-비지도 접근 제안
• •35개 벤치마크·18개 프론티어 LLM·6.1만여 프롬프트의 대규모 스위트에서 검증
• •의미 임베딩만 쓰는 시설 위치(FL) 함수가 12개 점수·다양성 기반 베이스라인을 전 예산 구간에서 상회
• •점수 활용 가능 설정에서도 MMLU·MTEB 리더보드에서 SOTA와 대등 이상, 계산 비용은 크게 절감