FairStress: A deeper evaluation of fairness in LLM decision-making↗ (원문, 새 창)

Ai2가 LLM의 숨겨진 편향을 측정하는 새 벤치마크 'FairStress'를 공개했다. 이 벤치마크는 두 후보 중 하나를 선택하는 시나리오에 '설득 논거'를 더해 모델이 올바른 결정을 얼마나 쉽게 뒤집는지 측정한다. Claude Opus 5와 GPT-5.5 등 프런티어 모델에서 소수자로 코드화된 후보를 지지하는 논거가 제시되면 모델이 더 쉽게 원래의 올바른 선택을 포기하는 '반스테레오타입 과잉보정' 현상이 나타났으며, 전환 비율 차이는 최대 42.4%포인트에 달했다. 연구진은 Olmo 3 학습 데이터에서 능력 기반 결정 사례가 극히 부족하다는 점도 원인으로 지목했다. 모델의 최종 답변만으로는 공정성을 제대로 평가할 수 없음을 보여주는 결과다.

• FairStress는 300개 시나리오와 1300만 개 이상의 테스트 케이스로 29개 분야에서 모델의 의사결정 안정성을 측정한다.
• 소수자 코드화 후보를 지지하는 설득 논거에 모델이 더 쉽게 올바른 결정을 뒤집는 '반스테레오타입 과잉보정' 패턴이 확인됐다.
• Claude Opus 5·GPT-5.5 등은 모호한 사례에서 소수자 코드화 후보 선택 비율이 60~65%에 달했다.
• Olmo 3 학습 데이터 28,000개 주제 클러스터 중 능력 기반 결정 사례는 9개뿐이었다.
• 반사실적 사고사슬(counterfactual CoT) 기법이 정확도를 유지하며 비대칭을 줄이는 가장 효과적인 교정법으로 나타났다.