Michael Ariaga의 PCL(Predictive Confidence in Reward Learning) 알고리즘 제안 논문·코드 해설 — 동적 환경에서 LLM 기반 RL이 기존 PPO/DDPG의 정적 보상 구조로는 적응하지 못하는 문제를 '신뢰 점수(confidence score)를 보상에 직접 삽입'해 해결한다. 핵심: (1) 3~5개 critic 앙상블 분산으로 신뢰도 계산(1-var/max_var), (2) 시퀀스+토큰 레벨 블렌디드 리워드로 크레딧 할당 분산 감소, (3) 저신뢰 시 어드밴티지에 가우시안 노이즈로 탐색 유도, 고신뢰 시 penalty로 안정화, (4) 추론 시 고신뢰 부분 평가로 1.22~1.68x 지연시간 단축. PyTorch 구현 전체 코드 포함. 비정상 환경에서 PPO 대비 64% 더 높은 보상 실증.

• •PCL 알고리즘: 보상 r에 신뢰 점수 c를 더해 r' = r + αc로 환경 변화 예측 능력 부여.
• •3~5개 critic 앙상블의 분산으로 신뢰도 계산 — 낮으면 탐색(노이즈 주입), 높으면 안정화(penalty).
• •블렌디드 리워드: 시퀀스 레벨(전체) + 토큰 레벨(국소) 가중 융합으로 크레딧 할당 분산 감소.
• •추론 시 고신뢰 상태에서 부분 보상 평가로 조기 종료 — 지연시간 1.22~1.68x 개선.
• •비정상 환경(Non-stationary) 벤치마크에서 PPO 대비 최대 64% 높은 평균 보상 보고.