이 논문은 LLM의 도덕 판단이 인간과 표면적으로 일치하더라도 근본적인 도덕적 근거까지 같은 것은 아니라고 주장한다. 연구진은 ETHICS 데이터셋 기반 500개 항목 벤치마크에서 최종 판단뿐 아니라 그 근거(rationale)까지 인간 주석자와 LLM 모두에게서 새로 수집해 비교했다. 프론티어 모델과 오픈소스 모델 모두 최종 라벨 일치율은 높았지만, 근거 수준에서는 해악·존중·약속이행·정의·응분·면책 등 범주에 걸쳐 인간과 체계적으로 다른 비중을 두는 것으로 나타났다. 저자들은 라벨 일치만으로 정렬(alignment)을 판단하면 오해를 부를 수 있으며, 판단의 이유와 원칙까지 함께 분석해야 한다고 강조한다.

• •500개 항목 ETHICS 기반 벤치마크로 인간·LLM의 최종 라벨과 근거를 모두 새로 수집·비교
• •프론티어·오픈소스 모델 모두 인간 다수 라벨과의 일치율은 대체로 높음
• •근거 수준에서는 해악·존중·정의 등 범주별 비중이 인간과 체계적으로 다름
• •최종 판단이 같아도 근거가 다른 경우가 다수 확인됨
• •라벨 일치를 정렬과 동일시하면 오도될 수 있어 근거 분석 병행 필요