연구진은 LLM 심사자(judge)들이 AI 출력이 직무 요건을 충족하는지 평가할 때 응답 순위에 대한 합의가 수락률이나 직업별 집계에 대한 합의를 보장하지 않는다는 문제를 제기하며, 45,796건의 실제 작업자 평가 설문에서 구축한 감사용 벤치마크 O*NET-BENCH를 도입했다. 6개 모델 계열에서 가져온 33개 심사자 구성을 4,501개 테스트 평가로 평가한 결과 25개 구성이 동률 허용 쌍별 정확도 0.60 이상을 달성했지만, 단순히 응답만 보는 TF-IDF 기준선조차 최강 심사자와 거의 비슷한 성능을 보였다. 순위 합의가 있음에도 심사자들이 추정한 수락 가능 응답 비율은 3.0%에서 97.9%까지 들쭉날쭉했던 반면 실제 직업별 작업자들은 61.1%였고, 한 미세조정 계열에서는 점별 채점을 묶음형 비교 평가로 바꾸면 응답 순위는 개선되지만 작업자 평균과의 일치도는 오히려 낮아지는 역전 현상이 재현됐다. 교차검증 보정은 평균 편향은 대부분 제거했지만 보정된 점수가 설명하는 개별 작업자 평가 분산은 최대 8.5%에 불과했다.
- •45,796건 실제 작업자 평가로 구축된 LLM 심사자 감사 벤치마크 O*NET-BENCH 도입
- •25개 심사자 구성이 쌍별 정확도 0.60 이상 달성하나, 단순 TF-IDF 기준선도 거의 동륨 성능
- •심사자 추정 수떬륨은 3.0~97.9%로 편차가 커고 실제 작업자 수떬륨 61.1%와 괴리
- •점먀→묶음형 코뒔 전환 시 순위름 개선냠도 작업자 평교와의 일지도는 오히꼎 하래하는 역전 현상 확인
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Right Order, Wrong Scale: Auditing LLM Judges for Occupational AI Measurement
- 1.O*NET-BENCH는 4만5,796건의 실제 근로자 평가를 바탕으로 LLM 심판 33개 구성을 6개 모델 계열에서 검증
- 2.순위 정확도 0.60 이상을 보인 25개 구성도 '수용 가능' 비율을 3.0~97.9%로 제각각 추정, 실제 61.1%와 크게 벌어짐
- 3.포인트와이즈에서 리스트와이즈 채점으로 바꾸면 순위는 좋아지지만 근로자 평균과의 일치도는 오히려 떨어짐
- 4.교정(calibration)으로 평균 편향은 없앨 수 있어도 개인별 평가 편차는 최대 8.5%만 설명 가능
왜 중요한가?
순위를 잘 맞추는 LLM 심판이라도 실제 수용률이나 직업별 집계치는 전혀 다르게 추정할 수 있음을 보여줘, AI 채용·평가 자동화에 LLM 심판을 쓸 때 순위 일치만으로 안전성을 판단해서는 안 된다는 경고다.
언급 프로젝트
본문 미리보기
arXiv:2610.02492v1 Announce Type: new Abstract: LLM judges are increasingly used to assess whether AI outputs meet workplace requirements, but agreement on response rankings does not establish agreement on acceptance rates or occupational aggregates. We introduce O*NET-BENCH, an audit suite derived from an existing survey of 45,796 worker ratings, and evaluate 33 pre-existing judge configurations across six model families on 4,501 test ratings. Twenty-five configurations achieve tie-aware pair
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
