여러 벤치마크에서 소수의 프롬프트 부분집합만 뽑아도 전체 평가와 유사한 모델 점수·순위를 재현하는 'LLM 벤치마크 코어셋 선택' 문제를 다뤘다. 제안 방식은 모델 평가 결과를 전혀 쓰지 않는 평가-비지도(evaluation-unsupervised) 방식으로, DPP·부분모듈 상호정보·시설 위치(facility location) 함수 등 다양한 부분모듈(submodular) 목적함수를 개발·비교했다. 5개 역량 범주의 35개 벤치마크, 18개 프론티어 LLM, 6.1만여 개 프롬프트로 구성한 대규모 스위트에서, 저렴한 의미 임베딩만 쓰는 시설 위치 함수가 점수 기반·다양성 기반 12개 베이스라인보다 모델 점수를 더 잘 보존했다. 점수가 풍부한 설정에서도 같은 목적함수가 MMLU·MTEB 리더보드에서 최신 기법과 대등하거나 우수하면서 계산 비용은 훨씬 낮아, 부분모듈성이 벤치마크 압축의 신뢰할 만한 도구임을 보였다.
- •모델 평가 결과 없이 프롬프트 수준의 미세 입도로 코어셋을 선택하는 평가-비지도 접근 제안
- •35개 벤치마크·18개 프론티어 LLM·6.1만여 프롬프트의 대규모 스위트에서 검증
- •의미 임베딩만 쓰는 시설 위치(FL) 함수가 12개 점수·다양성 기반 베이스라인을 전 예산 구간에서 상회
- •점수 활용 가능 설정에서도 MMLU·MTEB 리더보드에서 SOTA와 대등 이상, 계산 비용은 크게 절감
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks
- 1.모델 평가 점수 없이 프롬프트 임베딩만으로 LLM 벤치마크 코어셋을 선별하는 서브모듈러 기법 제안
- 2.35개 벤치마크·18개 프런티어 LLM·6.1만+ 프롬프트 규모의 새 평가 스위트에서 검증
- 3.Facility Location 함수가 12개 점수·다양성 기반 베이스라인보다 점수 보존 우수
- 4.점수 활용 가능한 설정에서도 MMLU·MTEB 리더보드에서 SOTA와 동등 이상, 계산비용은 크게 절감
왜 중요한가?
프론티어 LLM 평가 비용이 급증하는 상황에서, 사전 평가 점수 없이 저렴한 임베딩만으로 벤치마크를 압축해도 모델 순위가 보존됨을 대규모로 입증했다. 모델 개발사와 평가 파이프라인 운영자의 평가 비용을 직접 줄일 수 있는 결과다.
LLM 벤치마크를 위한 프롬프트 부분 집합을 효율적으로 선정하는 이 연구는 국내 LLM 개발 및 평가 프로세스에 상당한 비용 절감 효과를 가져올 수 있습니다. 방대한 데이터셋으로 인한 평가 시간과 자원 소모를 줄이면서도 모델의 성능을 정확하게 파악하는 것은 한국의 AI 기업과 연구기관들이 LLM 경쟁력을 확보하는 데 매우 중요합니다.
본문 미리보기
arXiv:2607.09739v1 Announce Type: new Abstract: We study LLM benchmark coreset selection: selecting a small subset of prompts over multiple benchmarks whose induced model scores and rankings approximate those obtained from the full benchmark suite. In evaluation-unsupervised benchmark coreset selection (our approach), the selection algorithm uses no model evaluation outcomes, and operates on a fine granularity by producing subsets of prompts over multiple benchmarks rather than producing a sub-
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
