CTF(Capture-the-Flag) 벤치마크는 자율 언어모델 에이전트의 공격적 보안 역량을 평가하는 데 널리 쓰이지만, 대부분 얕은 이진 판정이나 집계 점수에 의존해 플래그까지 이르는 경로를 무시함으로써 실제 익스플로잇과 플래그 직접 노출, 암기된 지식, 외부 검색, 추측, 근거 없는 주장을 뒤섞어 에이전트의 능력을 과대평가할 위험이 있다. 연구팀은 각 실행을 증거 기반 해결 프로필로 재구성하는 트레이스 기반 감사 프레임워크 'CTF-ABACUS'를 제안했다. 에이전트의 행동을 침투테스트 단계와 기법 범주로 분해해 실제 익스플로잇이 발생한 지점, 플래그가 처음 등장한 지점, 회수된 플래그가 실제 행동으로 뒷받침되는지를 식별하며, 여러 에이전트의 해결 프로필을 종합해 성공이 의도된 익스플로잇을 통한 것인지 우회 경로를 통한 것인지 드러내는 '챌린지 시그니처'를 산출한다. 6개 최신·오픈소스 모델이 240개 챌린지에 대해 시도한 1435건의 CTF 실행에 CTF-ABACUS를 적용해 2870개의 해결 프로필을 생성한 결과, 트레이스로 검증된 실제 익스플로잇은 회수된 플래그의 62~87%에 불과했고, 우회 경로로 회수된 경우는 훨씬 얕은 행동 궤적을 보였다.

• •CTF 벤치마크의 플래그 회수만 세는 평가 관행의 한계를 지적, 트레이스 기반 감사 프레임워크 'CTF-ABACUS' 제안
• •에이전트 행동을 침투테스트 단계·기법으로 분해해 실제 익스플로잇 여부를 증거 기반으로 판정
• •6개 모델·240개 챌린지·1435건 실행에서 2870개 해결 프로필 생성
• •트레이스로 검증된 실제 익스플로잇은 회수 플래그의 62~87%에 불과, 우회 경로는 얕은 궤적