이 논문은 도구를 사용하는 LLM 에이전트가 모델 추론뿐 아니라 순차적인 행동-관찰 턴에서도 지연을 겪는 문제를 다루며, 이를 줄이는 런타임 기법 '추측적 매크로 커밋(Speculative Macro Commit, SMC)'을 제안한다. 신뢰도 높은 대형 행위자 모델이 공식 궤적을 생성하는 동안, 더 빠른 추측 초안 모델이 격리된 환경 스냅샷에서 미래 행동 사슬을 지속적으로 예측·실행하고, 학습 궤적에서 채굴한 매크로 라이브러리로 이를 매칭한다. 행위자의 다음 도구 호출이 초안의 첫 행동과 일치하면 나머지 사전 실행된 단계와 관찰 결과를 공식 궤적에 즉시 반영한다. Qwen3.5-27B를 행위자로, Qwen3.5-4B를 초안 모델로 쓴 실험에서 τ²-Bench 텔레콤 서브셋 기준 순차 실행 대비 지연을 18.59% 줄이면서도 정확도는 유지했으며, AppWorld에서는 순차 실행 대비 44.9% 시간을 단축했다.
- •도구 사용 LLM 에이전트의 순차적 행동-관찰 턴 지연 문제를 해결하는 SMC 기법 제안
- •대형 행위자 모델과 빠른 추측 초안 모델의 2단계 구조, 학습 굤적에서 채굴한 매크로 라이브러리로 매칭
- •Qwen3.5-27B(행위자)·Qwen3.5-4B(초안 모델) 조합으로 실험
- •τ²-Bench 텔레콤에서 순차 실행 대비 18.59% 지연 감소, 정확도는 유지
- •AppWorld에서 순차 실행 대비 44.9% 시간 단축
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Speculative Macro Commit for Faster Tool-Using Agents
- 1.Speculative Macro Commit(SMC)은 대형 액터 모델과 소형 드래프터 모델을 결합한 2단 에이전트 추론 가속기법
- 2.학습 트레이스에서 반복되는 다중 행동 스켈레톤을 매크로 라이브러리로 저장해 실행 중 매칭
- 3.액터의 다음 도구 호출이 드래프트와 일치하면 사전 실행된 나머지 단계를 그대로 커밋
- 4.Qwen3.5 기반 실험에서 τ²-Bench Telecom 지연 10.23%, AppWorld 지연 7.7~44.9% 감소, 정확도는 유지
왜 중요한가?
도구 사용 에이전트의 지연시간이 순차적 행동-관찰 턴에서 발생한다는 점에 착안해, 정확도를 거의 희생하지 않고도 실행 속도를 크게 높이는 실용적 시스템 최적화 방법을 제시한다.
본문 미리보기
arXiv:2609.03236v1 Announce Type: new Abstract: Tool-using LLM agents spend wall-clock time not only on model inference but also in serial action--observation turns, where each tool call, environment transition, and observation can delay subsequent decisions. We introduce \textbf{Speculative Macro Commit} (SMC), a runtime mechanism for a two-tier agent system: a large authoritative actor model produces the official trajectory, while a faster speculative drafter model continuously predicts and e
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:39AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
