AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment | AIChainDay

한국어 요약by Claude · 2026. 9. 20.

안전 튜닝 파이프라인이 최종 답변만 평가하면 견고한 거부와 무분별한 전면 거부, 답변을 실제로 제약하지 않는 그럴듯한 안전 근거를 구분하기 어렵다. 이 논문은 모델이 먼저 위협 라벨·의도된 행동·명시적 제약을 담은 구조화된 안전 계획을 생성한 뒤 이에 조건화해 답변하는 단일 모델 기법 AUDITPLAN을 제안한다. 지도 미세조정에 이어, 안전 계획이 올바를 때만 답변 보상을 부여하는 보상 게이팅 기법 FAITHGATE로 강화학습을 수행해 안전해 보이지만 실제로는 계획과 무관한 행동을 억제한다. Qwen2.5-3B-Instruct 기준 공격 성공률을 24.0%에서 11.6%로, 유출 성공률을 1.0%에서 0.36%로, 과잉 거부를 11.0%에서 2.0%로 낮췄으며, 이 경향은 소형부터 대형 Qwen 모델까지 일관되게 확인됐다.

•위협 라벨·의도·제약을 담은 구조화된 안전 계획을 먼저 생성한 뒤 답하는 AUDITPLAN 제안
•계획이 올바를 때만 보상을 주는 FAITHGATE로 강화학습해 안전 근거의 허위성을 억제
•Qwen2.5-3B에서 공격 성공률 24.0%→11.6%, 과잉 거부 11.0%→2.0%로 개선
•소형부터 대형 Qwen 모델까지 일관된 안전성·감사가능성 향상 확인

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 18일AI 점수: 90%

AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment

출처:arXiv cs.CR (암호학·보안)

AI 인사이트

개발자

1.AI가 답변 전 구조화된 비공개 '안전 계획'을 먼저 세우고 이에 따라 답하는 'AUDITPLAN' 기법 제안
2.계획이 맞을 때만 보상을 주는 'FAITHGATE' 강화학습으로 계획-답변 일치도 강화
3.Qwen2.5-3B-Instruct서 공격성공률(ASR) 24.0%→11.6%, 과도거부율 11.0%→2.0%로 개선
4.Qwen-3-4B, Qwen2.5-7B 등 대형 모델에서도 동일 경향 재현, 기존 답변전용 RL보다 우수

왜 중요한가?

기존 안전 튜닝은 최종 답변만 평가해 그럴듯하지만 실제로는 안전하지 않은 근거를 걸러내지 못했는데, AUDITPLAN은 계획 자체를 기계로 감사 가능하게 만들어 안전 정렬의 신뢰도와 검증 가능성을 높인다.

언급 프로젝트

AUDITPLAN FAITHGATE Qwen

본문 미리보기

arXiv:2609.19325v1 Announce Type: new Abstract: Safety tuning pipelines judge only the final answer, which makes it difficult to distinguish robust refusal from two undesirable shortcuts: blanket refusal on benign requests and polished but unfaithful safety rationales that do not actually constrain the answer. We propose AUDITPLAN, a single-model plan-then-answer approach where the model first emits a compact structured safety plan and then answers conditioned on it. The plan records a threat l

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기