이 연구는 AI 정렬(alignment) 안전성 논의에서 핵심 우려인 '인간 가치의 취약성'—불완전한 대리 지표를 과도하게 최적화하면 파국적 결과로 이어진다는 우려—를 정식 모델로 분석한다. 연구진은 에이전트가 세상을 최적화하기 전에 가치함수가 대리 조건을 만족하도록 보장하는 이상화된 정렬 훈련을 거친다고 가정하고, 인간 가치함수와 여러 대리 조건의 정확도에 대해 최적화 강도가 극한에 이를 때 인간 가치를 η 이하로 떨어뜨리는 'η-파국적' 가치함수를 가진 에이전트가 배치될 조건을 규명했다. 결과는 과도한 최적화(overoptimization)의 위험성을 강조하며, 배치 전 훈련에만 의존하기보다 퀀틸라이저(quantilizer)처럼 최적화 압력 자체를 제한하는 AI 설계가 필요함을 시사한다.

• •인간 가치의 취약성을 정식 모델로 분석해 대리 조건의 정확도와 파국적 결과 사이 관계를 규명했다.
• •최적화 강도가 극한에 이르면 인간 가치를 η 이하로 떨어뜨리는 'η-파국적' 에이전트가 배치될 조건을 도출했다.
• •배치 전 훈련만으로는 불충분하며 큰틸라이저처럼 최적화 압력 자체를 제한하는 설계가 필요하다고 제안했다.