프롬프트 래퍼(wrapper)의 형식 차이만으로 모델 점수가 리더보드 결론을 뒤집을 만큼 달라진다는 문제를 토큰 통제 프로토콜로 정량화한 연구다. 래퍼 선택이 유발하는 정확도 범위인 FSI(Format Sensitivity Index)와 응답 파싱 가능성 범위인 PSI(Parseability Sensitivity Index)라는 상보적 지표 두 개를 도입했다. 7개 QA 과제, 5개 래퍼 계열, 7B~72B 인스트럭트 모델 4종에 걸친 14만 건의 OpenRouter 생성 결과, 평균 FSI가 모델 간 30배 이상 차이 났고 그 대부분이 형식 준수 실패로 설명됐다. 고정효과 회귀에서 파싱 가능성은 과제·모델·래퍼를 통제한 후에도 정확도의 강한 예측 변수로 남았다. 저자들은 래퍼 분산과 준수율 없이 정확도만 보고하는 것은 통계적으로 취약하다며 벤치마킹과 구조화 출력 배포를 위한 실무 권고를 제시했다.
- •토큰 통제 프로토콜 하에서 형식 민감도(FSI)와 파싱 민감도(PSI) 지표 도입
- •7개 QA 과제×5개 래퍼 계열×4개 모델(7B~72B), 총 14만 건 생성으로 대규모 검증
- •평균 FSI가 모델 간 30배 이상 차이 — 대부분 형식 준수 실패로 설명됨
- •파싱 가능성은 과제·모델·래퍼 통제 후에도 정확도의 강한 예측 변수 — 래퍼 분산 보고 없는 벤치마크는 통계적으로 취약
Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
본문 미리보기
arXiv:2607.09665v1 Announce Type: new Abstract: Prompt wrappers often differ only in formatting, yet they can change model scores enough to flip leaderboard conclusions. We study this variance under a token-controlled protocol and introduce two complementary metrics: the Format Sensitivity Index (FSI), the accuracy range induced by wrapper choice, and the Parseability Sensitivity Index (PSI), the corresponding range in answer parseability. Across 140,000 OpenRouter generations spanning 7 QA tas
전체 내용이 궁금하다면?
원문을 직접 읽어보세요