LLM 에이전트는 추론과 도구 호출에 시간이 걸려, 환경이 계속 변하는 상황에서는 옳은 행동도 너무 늦게 도착할 수 있다. 연구팀은 게임이 추론 중에도 계속 진행되는 조건에서 에이전트를 평가하는 6종 게임·180개 과제의 RealtimeBench를 공개했다. 게임을 멈춘 상태에서는 GPT-6.1-sol이 더 빠른 모델 Jev를 앞섰지만, 게임이 계속 돌아가면 뒤처졌다. 이에 느린 '교사'가 멈춘 게임에서 실패를 분석해 재사용 가능한 지침을 작성하고 빠른 '학생'은 게임 중 교사 호출 없이 행동하는 2단계 시간축 자기개선법 TORSI를 제안했으며, 두 라운드만으로 Jev의 평균 점수를 100점 만점에 13.51에서 24.19로 끌어올리고 다른 세 모델의 점수도 재튜닝 없이 향상시켰다.
- •게임이 추론 중에도 계속 진행되는 환경에서 에이전트를 평가하는 RealtimeBench(180개 과제) 제안
- •멈춘 환경에서 강했던 GPT-6.1-sol이 실시간 환경에서는 더 빠른 Jev에게 뒤처짐을 확인
- •느린 교사-빠른 학생 구조의 2단계 시간축 자기개선법 TORSI로 실행 중 지연 문제 해결
- •두 라운드 학습으로 Jev 평균 점수 13.51→24.19 향상, 재튜닝 없이 다른 모델에도 적용 가능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
- 1.실시간 진행 게임 환경에서 에이전트를 평가하는 RealtimeBench 공개, 6개 게임유형 180개 과제
- 2.멈춘 게임에선 GPT-6.1-sol이 더 빠른 Jev를 앞섰지만 실시간 진행시 뒤처짐을 확인
- 3.TORSI 제안, 느린 교사가 실패 분석해 지침 작성하고 빠른 학생이 실행중 활용
- 4.2라운드 적용으로 Jev 평균 점수 13.51→24.19 상승, 6개 게임유형 모두 개선
왜 중요한가?
추론과 툴호출에 시간이 걸리는 LLM 에이전트가 계속 변하는 실시간 환경에서는 정답도 늦으면 무용지물이 된다는 점을 벤치마크로 입증하고, 교사-학생 분리 학습으로 대응력을 높이는 구체적 해법을 제시한다.
본문 미리보기
arXiv:2610.20665v1 Announce Type: new Abstract: Large language model (LLM) agents can solve complex interactive tasks, yet reasoning and tool calls take time. In continuously changing environments, an otherwise correct action may arrive too late. We introduce RealtimeBench, with 180 tasks across six game types, to evaluate agents while games continue running during inference. Paired evaluations show that GPT-6.1-sol outperforms the faster Jev when games are paused, but falls behind when they ke
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안