Decoupling Readiness from Release for Tail-Aware Scheduling of Agentic LLM Workflows | AIChainDay

한국어 요약by Claude · 2026. 9. 13.

에이전트형 LLM 워크플로우는 모델 턴과 도구 상호작용이 뒤섞여 있어 완료 시간이 추론 속도뿐 아니라 준비된 턴이 언제 방출되는지에도 좌우된다. 대부분의 런타임은 턴이 준비되는 즉시 방출하는데, 이 방식은 부하가 몰리면 방출됐지만 미완료된 작업이 쌓여 테일 지연시간을 늘린다. 연구진은 평균-CVaR 목적함수로 워크플로우의 테일 위험을 포착하고, 턴 작업량을 온라인으로 추정하며, 큐 압박에 따라 방출 예산을 조정하는 테일 위험 인지형 스케줄링 기법을 제시했다. 실제 소프트웨어 엔지니어링 작업 실행 기록으로 평가한 결과, 부하가 클 때 워크플로우 흐름시간의 P95 기준 최대 3.5배 속도 향상을 달성했다.

•에이전트 워크플로우 완료시간은 추론속도뿐 아니라 턴 방출 시점에도 좌우됨
•즉시 방출 방식은 고부하 시 미완료 작업이 쌓여 테일 지연시간 증가
•평균-CVaR 목적함수 기반 테일위험 인지형 턴 방출 스케줄링 제안
•고부하 상황에서 P95 흐름시간 기준 최대 3.5배 속도 향상

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 12일AI 점수: 80%

Decoupling Readiness from Release for Tail-Aware Scheduling of Agentic LLM Workflows

출처:arXiv cs.AI

AI 인사이트

개발자

1.에이전트형 LLM 워크플로의 '턴 방출' 시점을 최적화하는 꿬리위험 인지 스케줄링 기법 제안
2.평균-CVaR(조건부 위험가치) 목표로 방출되지 않은 작업량을 큐 압력에 맞춰 동적 조정
3.소프트웨어 엔지니어링 작업의 실제 에이전트 실행 트레이스로 검증, 경쟁 상황에서 P95 지연 최대 3.50배 개선

왜 중요한가?

즉시 방출 방식의 기존 런타임이 부하 상황에서 재정렬 불가능한 작업을 쌓아 꼬리 지연을 키우는 구조적 문제를, 리스크 인지 스케줄링으로 완화해 에이전트 서비스의 응답성을 높인다.

본문 미리보기

arXiv:2609.10964v1 Announce Type: new Abstract: Agentic LLM workflows consist of sequences of model turns interleaved with tool interactions, so their end-to-end completion time depends not only on inference speed but also on when ready turns are released. Most runtimes release each turn immediately upon readiness. Under contention, this eager release policy can accumulate released but unfinished work; once submitted, those turns can no longer be reordered by the workflow-level policy, increasi

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기