이 논문은 LLM 코딩 에이전트가 엔드투엔드 엔지니어링 작업을 점점 더 많이 수행하는 가운데, 스키마 설계·비동기 오케스트레이션·설정 정확성·검색-필터링 트레이드오프 같은 시스템 수준 요구사항에서 에이전트가 어떻게 행동하는지에 대한 실증 사례 연구를 제시한다. 저장 기술·스키마·개체 해상도 알고리즘·검색-필터링 전략은 사전에 고정된 상태에서 에이전트에게 구현, 스스로 만든 결함의 진단·수정, 열려 있는 상호작용 설계 선택의 자율성이 주어졌다. 단일 세션 동안 위반된 제약 조건과 탐지 방법에 따라 분류된 5개의 결함이 발견됐다. 공개 HotpotQA 벤치마크에서 검색 트레이드오프를 평가한 결과, 필터링된 검색은 예산 3에서 이미 최대 재현율에 도달한 반면 비필터링 검색은 예산 10에서도 필요한 증거를 69%의 경우에만 모두 회수했으며, 이 격차는 테스트된 모든 예산에서 유지됐다(부호검정 p<0.0001). 주장된 성능 수정이 이를 유발한 회귀에 대해 재측정된 적이 없는 사례도 확인됐다.

• •LLM 코딩 에이전트가 시스템 수준 요구사항을 구현하는 방식을 사례 연구로 실증 분석했다.
• •단일 세션에서 위반된 제약 조건과 탐지 방법별로 분류된 5개의 결함을 발견했다.
• •HotpotQA 벤치마크에서 필터링 검색이 예산 3에서 이미 최대 재현율에 도달했다.
• •비필터링 검색은 예산 10에서도 필요한 증거를 69%만 회수해 통계적으로 유의한 격차가 유지됐다(p<0.0001).
• •주장된 성능 수정이 이를 유발한 회귀에 대해 한 번도 재측정되지 않은 사례를 확인했다.