ToolGate는 도구 증강 비전언어 에이전트의 '사전 호출 제어(pre-call control)' 문제를 다룬다. ReAct 방식 VLM이 OCR·탐지·분할 같은 지각 도구 호출을 제안한 뒤, 출력을 맥락에 넣기 전에 실행할지 건너뛸지 판단하는 경량 외부 컨트롤러다. 저자들은 베이스라인 에이전트의 국소 선택성이 나빠 유용한 호출과 해로운 호출 발생률이 11.8% 대 9.9%로 비슷하고 대부분 호출이 즉각적 예측을 바꾸지 못함을 발견했다. ToolGate는 궤적 텍스트와 단순 구조 특징으로 실행/건너뛰기를 예측해, 두 Qwen3-VL 백본에서 토큰 비용을 무제한 ReAct 대비 64~69%로 줄이면서 교차도메인 정확도를 유지했고, Qwen3-VL-30B 동일도메인 학습 시 평균 정확도를 1.65점 추가로 높였다.
- •지각 도구 호출을 실행할지 건너뛸지 결정하는 '사전 호출 제어' 문제를 정의
- •베이스라인 에이전트는 선택성이 나쁨—유용 11.8% vs 해로운 9.9% 호출이 비슷한 빈도
- •ToolGate는 궤적 텍스트+구조 특징으로 execute/skip을 예측하는 경량 외부 컨트롤러
- •두 Qwen3-VL 백본에서 토큰 비용을 무제한 ReAct 대비 64~69%로 절감하며 정확도 유지
- •Qwen3-VL-30B 동일도메인 학습 시 평균 정확도 1.65점 추가 향상
ToolGate: Token-Efficient Pre-Call Control for Tool-Augmented Vision-Language Agents
- 1.비전-언어 에이전트 도구 효율화
- 2.불필요한 도구 호출 비용 절감
- 3.사전 호출 제어 문제 연구
왜 중요한가?
비전-언어 에이전트의 효율성과 비용 절감을 통해 실제 적용 가능성을 높여 AI 시스템의 실용성을 향상시킵니다.
이 기사는 시각-언어 에이전트의 도구 호출을 효율적으로 제어하여 비용을 절감하는 'ToolGate' 기술을 소개합니다. 국내 기업들이 멀티모달 AI 시스템을 구축할 때 운영 효율성과 비용 최적화가 중요한 고려 사항인 만큼, 이러한 기술은 실제 서비스 도입에 큰 영향을 미칠 수 있습니다.
본문 미리보기
arXiv:2606.03054v1 Announce Type: new Abstract: Tool-augmented vision-language agents can acquire external perceptual evidence through OCR, detection, segmentation, and other tools, but executing every proposed tool call is costly and sometimes unnecessary. We study the pre-call control problem: after a ReAct-style VLM agent proposes a perceptual tool call, should the call be executed, or skipped before its output enters the context? Across five benchmarks, we find that the baseline agent exhib
전체 내용이 궁금하다면?
원문을 직접 읽어보세요