대규모 언어모델 에이전트 강화학습을 위한 분산 스웜 학습 프레임워크 'AgentJet'를 제안한 논문이다. 롤아웃과 모델 최적화를 강결합하는 중앙집중식 프레임워크와 달리, AgentJet은 학습 모델을 호스팅하고 GPU 클러스터에서 최적화를 돌리는 스웜 서버 노드와, 임의 장치에서 임의 에이전트를 실행하는 스웜 클라이언트 노드로 분리된 다중 노드 구조를 채택한다. 이를 통해 이기종 다중모델 RL, 격리 런타임 기반 멀티태스크 칵테일 학습, 외부 환경 장애가 학습을 끊지 않는 내결함성 실행, 학습 중 노드 교체로 코드를 수정하는 라이브 반복이 가능하다. 타임라인 병합 컨텍스트 추적 모듈로 중복 맥락을 통합해 1.5~10배 학습 속도를 높였고, 연구 주제를 입력받아 며칠짜리 RL 연구를 자율 수행하는 자동 연구 시스템도 선보였다.

• •스움 서버(학습·최적화)와 스움 클라이언트(임의 장치·에이전트 실행)를 분리한 다중 노드 구조
• •이기종 다중모델 RL, 멀티태스크 칵테일 학습, 내결함성 실행, 학습 중 라이브 코드 수정 지원
• •타임라인 병합 컨텍스트 추적 모듈로 중복 맥락 통합, 1.5~10배 학습 속도 향상
• •연구 주제를 입력받아 인간 개입 없이 장기 멀티데이 RL 연구를 수행하는 자동 연구 시스템 포함