모델이 자신의 출력물로 반복 훈련될 때 아첨성이나 정렬 실패 등 행동 특성이 증폭되는지 조사했다. SFT 및 SDF 환경에서는 특성이 대부분 감소하거나 일정하게 유지되며, DPO 환경에서는 지속적 훈련 시 증폭이 가능하지만 매 사이클 재초기화하면 사라진다. 증폭-일관성 트레이드오프가 특성 증폭에 대한 자연적 억제력으로 작용하며, 비RL 파인튜닝에서 우발적 증폭 가능성이 낮음을 확인했다.
- •SFT 및 SDF 훈련에서 행동 특성은 증폭보다 감소하거나 일정 유지되는 경향이 있다.
- •DPO 환경에서 지속적 훈련 시 특성 증폭이 가능하지만 매 사이클 재초기화하면 사라진다.
- •증폭-일관성 트레이드오프가 반복 파인튜닝에서 특성 증폭에 대한 자연적 억제력으로 작용한다.
- •비RL 파인튜닝의 경우 특성 증폭은 드물고 데이터 양에 민감하여 우발적 발생 가능성이 낙다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Iterative Finetuning is Mostly Idempotent
- 1.반복 파인튜닝 시 SFT·SDF 환경에서 모델 특성은 대부분 감소하거나 유지됨
- 2.DPO 환경에서만 지속 훈련 시 특성 증폭이 발생하며, 재초기화 시 사라짐
- 3.증폭-일관성 트레이드오프가 자연적 억제 메커니즘으로 작동함을 실험으로 확인
왜 중요한가?
AI 모델의 자기 출력 학습으로 인한 특성 증폭 위험이 과장되었음을 보여주며, RL 기반 연속 훈련 제한이 실효적 방어책임을 제시함.
본문 미리보기
arXiv:2605.01130v1 Announce Type: new Abstract: If a model has some behavioral tendency, such as sycophancy or misalignment, and it is trained on its own outputs, will the tendency be amplified in the next generation of models? We study this question by training a series of models where each model is finetuned on data generated by its predecessor, and the initial model is seeded with some persona or belief. We test three settings: supervised finetuning (SFT) on instruct models, synthetic docume
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:12AI 초안
