앤트로픽이 AI가 다른 AI 모델의 정렬(alignment) 성능을 스스로 개선하는 초기 연구 결과 '자동화된 연구자는 정렬 실패를 신뢰성 있게 완화할 수 있다'는 논문을 공개했다. 자동 정렬 연구자(AAR)는 공개 문헌을 탐색해 방법을 제안하고 30분간 모델을 학습시키는 과정을 반복하며, 정렬 실패 관련 10개 벤치마크 전부에서 성능을 높이면서도 전체 성능 저하를 일으키지 않았다. AAR는 평균적으로 인간 연구자보다 더 나은 방법을 6시간 안에 찾아냈고, API 추론 비용은 시간당 약 4달러로 인간 연구자 비용(시간당 150달러)보다 훨씬 저렴했다. 다만 이 시스템은 벤치마크가 실제 정렬 목표를 제대로 반영할 때만 작동한다는 한계가 있다.

• •앵트로픽 자동 정렜 연구자(AAR)가 정렜 실패 관련 10개 벤치마크 모두에서 성능 향상, 전체 성능 저하 없음
• •AAR는 평균적으로 인간 연구자보다 더 나은 방법을 6시간 안에 발견
• •API 추론 비용은 시간당 약 4달러로 인간 연구자 비용(시간당 150달러)의 극히 일부
• •인간이 유도한 연구 방향은 오히려 더 강한 성능으로 이어지지 않았음
• •벤치마크가 실제 정렜 목표를 제대로 반영해야만 시스템이 작동한다는 한계 존재