Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide↗ (원문, 새 창)

아마존웹서비스(AWS)가 세이지메이커 AI에서 멀티턴 강화학습(MTRL)으로 에이전트를 훈련하는 전체 파이프라인을 워들(Wordle) 게임 예제로 소개했다. 에이전트는 아마존 베드록 에이전트코어(AgentCore)에 배포되고, 훈련 중인 정책 모델을 호출해 여러 턴에 걸쳐 행동한 뒤 에피소드 종료 시 보상 하나만 보고하는 구조다. 실험에서 GPT-OSS-20B 모델은 서빙 설정(중간 추론·온도 1.0) 기준 정답률이 기본 모델 61%에서 학습 후 84%로 상승했으며, 훈련 토큰 비용은 약 339달러, 에이전트코어 런타임 비용은 약 79달러였다. 저자들은 보상을 결과 중심 항목과 작은 셰이핑 항목으로 분리해야 손실 게임에 양의 보상을 주거나 빠른 승리보다 느린 승리를 더 높게 평가하는 오류를 피할 수 있었다고 설명했다. 공개 모델이 익숙하지 않은 내부 업무 절차에 특화된 소형·저비용 에이전트를 만드는 데 같은 파이프라인을 적용할 수 있다는 점에서 실용적 시사점이 크다.

• AWS 세이지메이커 AI의 멀티턴 강화학습(MTRL)으로 GPT-OSS-20B를 훈련, 워들 게임 정답률 61%→84%로 향상
• 훈련 토큰 비용 약 339달러, 에이전트코어 런타임 비용 약 79달러로 총 약 418달러 소요
• 에이전트와 환경·보상 함수를 아마존 베드록 에이전트코어에 배포, 에피소드 단위로 보상 1개만 반환
• 보상을 결과 중심 항목과 소규모 셰이핑 항목으로 분리해 손실 게임의 양의 보상, 역전 현상 등 설계 오류 수정
• 검증 곡선(37%)과 실제 서빙 설정 성능(84%)이 크게 달라 평가는 서빙 설정과 동일하게 수행해야 한다고 강조