AI 코딩 에이전트(깃허브 코파일럿, 클로드 코드, 코덱스 등)는 다단계 LLM 추론과 도구 실행을 교차 수행해 챗봇과는 다른 워크로드를 만든다. 연구진은 2026년 6월 깃허브 코파일럿의 샘플링된 트레이스(사용자 320만 명, 세션 1,300만 건, LLM 호출 7억 6,100만 회, 토큰 95조 개)를 이용해 이 워크로드를 최초로 프로덕션 규모에서 분석했다. 에이전틱 코딩 세션은 사용자가 드물게 개입하는 턴으로 구성되며, 각 턴은 거의 항상 도구 실행과 결합된 자율적 LLM 호출 루프로 전개된다. 이 구조로 인해 KV 캐시 적중률은 턴 내부에서는 평균 90%에 달하지만 턴 경계를 넘으면 55%로 떨어지고, 모델 전환이나 컨텍스트 압축 같은 이벤트 후에는 크게 무효화된다. 연구진은 빠른 에이전트 처리 시간과 턴 경계에서 수 분에 이르는 사용자 유휴시간의 차이에 주목해, 전체 유휴시간의 86~90%를 포착하는 경량 유휴시간 예측기를 설계했다.

• •2026년 6월 깃허브 코파일럿 트레이스 최초 프로덕션 규모 분석: 사용자 320만·세션 1,300만·LLM 호출 7얷6,100만·토큰 95조
• •에이전틱 코딩 세션은 드물게 사용자 턴 각각이 도구 실행과 결합된 자율 LLM 호출 루프로 전개되는 구조
• •KV 캐시 적중률 턴 내부 평균 90%, 턴 경계를 넘으면 55%로 하락, 모델 전환·컸텍스트 압축 후 크게 무효화
• •토큰 소비·소요 시간·도구 호출 수 모두 다양하고 론테일 분포를 보이는 워크플로·사용자 행태 관찰
• •전체 유휴시간의 86~90%를 포착하는 경량 유휴시간 예측기 설계, 효율적 자원 오케스트레이션에 활용 가능