이 논문은 LLM 에이전트가 절차를 수행할 때 최종 답변은 그럴듯해 보여도 실제로는 필요한 점검·분기·의존성·불변조건을 건너뛰는 '부당한 실패'를 진단하는 프레임워크 ContractEval을 제안한다. 절차 지침을 질의별로 활성화되는 의무로 명시적으로 표현하고 이를 응답이나 실행 트레이스 증거와 대조해, 누락·잘못된 분기·순서 오류·불필요한 행동·불변조건 위반·출력 계약 위반 등 서로 다른 유형의 실패로 구분한다. 통제된 절차 계약 평가에서 기존의 출력만 보는 평가나 트레이스 기반 평가는 주입된 구조적 실패를 다수 놓쳤지만, 정답 그래프가 주어질 경우 ContractEval은 이를 모두 탐지·위치 특정했다. 다만 LLM 기반 추출에 의존할 때는 정확도가 떨어질 수 있어 완전한 컴플라이언스 보증이 아니라 절차적 정합성을 감사 가능하게 만드는 도구로 제시된다.

• •절차 수행 LLM 에이전트의 '보이지 않는 실패'(체크·분기·불변조건 누락)를 진단하는 ContractEval 제안
• •절차 지침을 질의별 활성 의무로 명시화해 응답·트레이스 증거와 대조
• •기존 출력/트레이스 기반 평가가 놓치는 구조적 실패를 정답 그래프 기준 100% 탐지
• •LLM 기반 추출 사용 시 정확도가 떨어질 수 있어 완전한 보증 도구는 아님을 명시