이 논문은 프롬프트 인젝션 공격이 계속 진화하는 상황에서 기존의 정적인 방어 방식이 새로운 공격 유형마다 재설계가 필요하다는 한계를 지적하며, 이를 평생학습 문제로 재정의한 프레임워크 COPA를 제안한다. COPA는 한 번의 정렬(alignment)로 끝내지 않고 GRPO 기반 최적화로 새로 관측된 공격에 대한 피드백을 점진적으로 반영하며, 마진 가중 경험 재생을 통해 이전에 학습한 방어 능력을 유지해 이른바 '재앙적 망각'을 방지한다. 지속적인 프롬프트 인젝션 공격 스트림에 대한 실험에서 COPA는 기존 최신 방어 기법 대비 공격 성공률을 최대 6.3배, 평균 4.4배 낮췄다. 적응형 공격자에 대응하는 지속적 선호 최적화가 LLM 방어의 효과적인 패러다임이 될 수 있음을 보여준다.

• •프롬프트 인젠션 방어를 평생학습 문제로 재정의한 프레임워크 COPA 제안
• •GRPO 기반 점진적 최적화로 새로운 공격에 지속 적응
• •마진 가중 경험 재생으로 기존 방어 능력의 재앙적 망각 방지
• •최신 방어 기법 대비 공격 성공률 최대 6.3배, 평균 4.4배 감소