연구진은 LLM 에이전트의 안전을 위한 시스템 수준 방어 하니스가 전문가에 의해 한 번 설계된 뒤 다양한 모델과 도메인에 획일적으로 적용되는 한계를 지적하며, 특정 모델과 도메인에 맞춰 배포 가능한 하니스를 자동 합성하는 프레임워크 EvoSafeHarness를 제시했다. 자연어 정책과 실행 가능한 코드 로직을 함께 탐색하며, 모델 행동과 도메인 사양, 신선한 맥락의 적대적 검토로 벤치마크 특화 규칙을 배제하도록 안내한다. 4개 에이전트 벤치마크군에서 고정된 전문가 설계 방어보다 더 우수한 안전-유용성 경계를 달성했으며, DecodingTrust-Agent에서는 평균 공격 성공률을 45.6%에서 10.0%로 낮추면서도 유용성 손실은 3.3%포인트에 그쳤다. AgentDojo에서는 공격 성공률 0.0%에서 유용성 82.8%를 달성해 CaMeL의 두 배에 달하는 유용성을 보였으며, 처음 보는 AgentDyn 스위트에도 변경 없이 전이됐다.

• •모델·도메인별 맞춤 안전 하니스를 자동 합성하는 프레임워크 EvoSafeHarness 제안
• •자연어 정책과 실행 코드 로직을 함께 탐색, 적대적 검토로 벤치마크 특화 규칙 배제
• •DecodingTrust-Agent에서 공격 성공률 45.6%→10.0%, 유용성 손실 3.3%p에 그침
• •AgentDojo에서 공격 성공률 0.0%, 유용성 82.8%로 CaMeL 대비 2배 달성
• •처음 보는 AgentDyn 스위트에도 변경 없이 전이, Agent-SafetyBench에서도 최고 점수