비결정적인 AI 에이전트 실행을 결정론적으로 재생하는 개발자 우선 CLI 프레임워크 'agrepl'이 공개됐다. LLM 샘플링 분산, 외부 API 상태, CDN 헤더, 실행 환경 노이즈 때문에 기존 관측 플랫폼은 로그만 남길 뿐 실행 재현이 불가능했는데, agrepl은 MITM 프록시로 전송 계층의 모든 외부 상호작용을 가로채 구조화된 실행 트레이스로 직렬화하고, 외부 네트워크가 완전히 차단된 격리 환경에서 재생한다. 에이전트 실행 모델과 요청 키 매칭 함수를 정식화해 결정론 불변식을 증명했고, HTTP 헤더 차이를 신호/노이즈 계층으로 분류하는 노이즈 인지 diff 알고리즘도 도입했다. 5개 워크로드·250회 재생 평가에서 재현 충실도 1.0, 스텝당 중앙값 지연 98.3% 감소를 기록했으며 Go 단일 바이너리·MIT 라이선스로 배포된다. 에이전트 디버깅과 재현성 문제의 실용적 해법이다.
- •MITM 프록시로 전송 계층의 모든 외부 상호작용을 가로채 구조화 트레이스로 직렬화
- •외부 네트워크 완전 차단 격리 환경에서 재생, 실행 모델·요청 키 매칭 함수 K(s) 정식화와 결정론 불변식 증명
- •HTTP 헤더 차이를 신호/노이즈 계층으로 분류하는 노이즈 인지 diff 알고리즘
- •5개 워크로드·250회 재생에서 재현 충실도 1.0, 스텝당 중앙값 지연 98.3% 감소
- •Go 단일 정적 바이너리, MIT 라이선스 오픈소스
Deterministic Replay for AI Agent Systems
- 1.MITM 프록시로 외부 상호작용을 가로채 AI 에이전트 실행을 결정론적으로 재생하는 CLI 도구 agrepl 공개
- 2.외부 네트워크 차단 환경에서 재생 충실도 F=1.0, 스텝당 지연 중앙값 98.3% 감소(250회 실험)
- 3.HTTP 헤더 차이를 신호·노이즈로 분류하는 noise-aware diff 알고리즘 도입
- 4.결정론 불변성을 형식적으로 증명, Go 단일 바이너리·MIT 라이선스로 배포
왜 중요한가?
LLM 샘플링 분산과 외부 API 상태 때문에 에이전트 버그 재현이 사실상 불가능하던 문제를 전송 계층 기록·재생으로 해결했다. 로그만 남기는 기존 관측 도구와 달리 실행 자체를 격리 재현할 수 있어 에이전트 디버깅·회귀 테스트 워크플로를 바꿀 수 있다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.16200v1 Announce Type: new Abstract: AI agent systems that couple large language models (LLMs) with external tools and APIs are inherently non-deterministic: LLM sampling variance, external API state, CDN infrastructure headers, and execution-environment noise collectively prevent any prior agent run from being faithfully re-executed. Existing observability platforms capture execution logs but cannot reproduce a run in isolation. We present agrepl, a developer-first CLI framework for
전체 내용이 궁금하다면?
원문을 직접 읽어보세요