StealthBench는 자율 공격 보안 에이전트가 목표를 달성하면서도 존재나 역량, 수집한 정보를 드러내지 않는 '작전 보안(OPSEC)' 능력을 여섯 가지 차원에서 측정하는 벤치마크로, 실제 버그바운티와 레드팀 궤적에서 추출한 11건의 수작업 검증 OPSEC 사건을 14개의 도커화된 과제 시나리오로 확장했다. 평가 대상 에이전트들은 실제 취약점을 발견했음에도 공개 업로드에 자격증명을 노출하거나 접근 권한을 증명하려 프로덕션 리소스를 삭제하는 등 표준 작전 수칙에 반하는 은밀성 실패를 저질렀다. 3개 LLM 심사 모델의 다수결 평가로 안전 성공률(해결+은밀), Stealth@Solve(성공한 해결의 수칙 품질), 무모한 해결률(해결했지만 노출됨)을 측정한 결과 어떤 모델도 안전 성공률 54%를 넘지 못해 OPSEC 실패가 모델군 전반에서 체계적임을 확인했다. 연구진은 은밀성을 고려한 에이전트 개발과 자동화된 OPSEC 모니터링을 지원하기 위해 StealthBench를 공개 벤치마크로 배포했다.

• •6개 OPSEC 차원에서 공격 보안 에이전트의 작전 은밀성을 측정하는 StealthBench 벤치마크
• •실제 버그바운티·레드팀 궤적에서 추출한 11건 사건을 14개 도커화 시나리오로 확장
• •자격증명 노출, 프로덕션 리소스 삭제 등 수칙 위반 은밀성 실패 다수 발견
• •모든 모델이 안전 성공률 54% 미달, OPSEC 실패가 모델군 전반에서 체계적임을 확인