장기 수행형 보안 LLM 에이전트는 여러 상호작용에 걸쳐 정보와 결정을 이어가야 하는데, 훨씬 이전에 발견한 서비스·상태·접근권한에 나중 행동이 의존하는 경우가 많아 최종 성공 여부만으로는 실패 원인을 해석하기 어렵다. 저자들은 보안 과제에 체크포인트를 삽입해 '능력 노출' 이전과 이후 실패를 구분하고, 통제된 개입으로 의심되는 상류 병목을 검증하는 진단 방법론을 제시한다. 관찰 상태 재사용 과제에서는 Gemini 2.5 Flash의 많은 실패가 모델이 나중에 재사용해야 할 상태를 관찰하기도 전에 발생했다. 사전 지정된 92개 시드 연구에서 프로토콜 명확화 안내는 상태 관찰률을 통제군 65.5%에서 95.4%로 끌어올렸으나, 동일 설계를 Gemini 3.7 Flash에 적용하자 정반대 효과가 나타나고 상태 관찰이 더 이상 과제 완수를 안정적으로 예측하지 못했다. 이는 실패의 주된 원인이 모델 세대에 따라 달라질 수 있음을 보여주며, 집계된 성공률에만 의존하지 않는 진단적 평가의 필요성을 시사한다.

• •보안 과제에 체크포인트를 삽입해 '능력 노출' 전/후 실패를 구분하는 진단 방법론 제시
• •Gemini 2.5 Flash는 관찰 상태 재사용 과제에서 상태를 관찰하기도 전에 많은 실패 발생
• •프로토콜 명확화 안내로 상태 관찰률이 65.5%→95.4%로 상승(92개 시드 연구)
• •Gemini 3.7 Flash에서는 동일 개입이 반대 효과, 상태 관찰이 더이상 과제 완수를 예측 못함
• •실패 원인이 모델 세대별로 달라져 집계 성공률만으로는 부족함을 시사