이 연구는 인간 피드백 기반 보상모델 학습에서 흔히 가정하는 '단일 보편 효용함수' 전제에 도전하며, 사람마다 내적으로 일관되지만 서로 다른 선호(개인화된 효용함수)를 다중 모드 데이터로 추정하는 새로운 다단계 아키텍처를 제안한다. 연구진은 2,398명이 자동차 휠 디자인을 비교한 57만 5천 건 이상의 쌍대 미학 평가 데이터를 새로 수집해 실험했으며, 개인화 효용 모델이 파운데이션 모델을 포함한 기존의 보편 효용 모델보다 크게 앞서는 성능을 보였다. 이는 주석자 간 의견 불일치가 단순한 잡음이 아니라 의미 있는 선호 이질성을 반영한다는 것을 뜻한다. 저자들은 보상모델을 만들 때 주석자 속성을 함께 수집하고 개인화된 효용함수를 학습해야 실제 인간의 다양한 판단을 더 충실히 반영하는 시스템을 만들 수 있다고 강조한다.

• •인간 피드백 학습에서 표준으로 쓰이는 '단일 보편 효용함수' 가정에 반박하며 개인화 효용함수 모델 제안
• •2,398명이 참여한 자동차 휠 디자인 쌍대 비교 57만 5천여 건 데이터로 검증
• •개인화 효용 모델이 파운데이션 모델 포함 기존 보편 효용 모델을 크게 능가
• •주석자 간 불일치는 노이즈가 아니라 실제 선호 차이를 반영한다는 결론