RLHF 선호 데이터에 라벨러(rater)의 심리 상태가 구조적 편향으로 스며들 수 있다는 가설과 감사(audit) 프레임워크를 제시한 연구다. 쌍별 선호 라벨은 출력 품질만 반영해야 하지만, 지속적 스트레스 등 라벨러 상태에 따라 선호가 이동할 수 있으며, 이는 단순 노이즈와 달리 유사 조건의 라벨러들 사이에 공유되고 보상 모델과 정책 최적화까지 전파될 수 있다. 저자들은 라벨러 상태 이동·교란·상관 편향을 정의하고, 어휘·화용·담화·안전 특징으로 측정 가능한 '생존 수준 감정 진정성' 패턴을 규정했으며, 편향이 집계를 살아남아 보상 신호에 유입되는 경로를 분석했다. 반증 가능한 예측 5개와 효과 크기 임계값, 공개 인스트럭션 튜닝 모델에 적용 가능한 감사 프로토콜을 제시해 RLHF 데이터 품질 논의에 검증 가능한 새 관점을 더했다.
- •RLHF 쌍별 선호 라벨이 출력 품질뿐 아니라 라벨러의 심리 상태를 함께 인코딩할 수 있다는 구조적 교란 식별
- •단순 노이즈와 달리 상태 의존적이며 라벨러 간 공유돼 보상 모델·정책 최적화로 전파 가능
- •어휘·화용·담화·안전 특징 기반의 측정 가능한 '생존 수준 감정 진정성' 패턴 정의
- •반증 가능한 예측 5개와 효과 크기 임계값, 공개 모델 대상 감사 프로토콜·파일럿 연구 계획 제시
- •특정 배포 모델의 학습 이력 추론이 아닌 검증 가능한 편향 원천 분리가 목표
Rater State Bias in RLHF Preference Data: An Audit Framework
- 1.RLHF 선호 라벨이 응답 품질뿐 아니라 평가자의 심리 상태까지 반영한다는 구조적 교란 변수 제기
- 2.스트레스 등 상태 의존 편향은 단순 노이즈와 달리 평가자 간 공유되어 보상모델까지 전파 가능
- 3.평가자 상태 이동·교란·상관 편향을 정의하고 5개 반증 가능 예측을 담은 감사 프레임워크 제안
- 4.공개 인스트럭션 튜닝 모델에 적용 가능한 감사 프로토콜과 파일럿 계획 제시
왜 중요한가?
RLHF 데이터 품질 논의가 주로 라벨 노이즈·불일치에 머물던 것과 달리, 평가자의 심리 상태라는 집단적·체계적 편향원이 보상 신호에 살아남을 수 있음을 검증 가능한 가설로 정식화했다. 정렬 데이터 수집 관행과 어노테이터 노동 환경 문제를 잇는 관점이다.
본문 미리보기
arXiv:2607.16195v1 Announce Type: new Abstract: We identify a structured confound in Reinforcement Learning from Human Feedback (RLHF). Pairwise preference labels are intended to reflect the compared outputs, but they may also reflect the rater's state during annotation. Under sustained stressful or distressing conditions, raters' preferences may shift over time. As a result, preference data can encode rater state alongside judgments about response quality. These shifts differ from ordinary dis
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
