오프-폴리시 TD 학습에서 안정성과 분산 제어의 균형을 다루는 연구로, Regularized Emphatic Temporal-Difference Learning(RETD)을 제안한다. 기존 Emphatic TD는 팔로우온 추적의 높은 분산 문제가 있으며, 단순한 중심화 확장은 핵심 행렬의 양의 정치성을 파괴할 수 있다. RETD는 커플된 핵심 행렬의 하우-우측 블록을 1에서 (1+c)로 조정해 보조 중심화 재귀만 정규화함으로써 안정성과 유리한 강조 기하구조를 동시에 보존한다.

• •Emphatic TD는 팔로우온 강조로 오프-폴리시 투영 기하학을 개선하지만, 팔로우온 추적의 높은 분산 문제가 있다.
• •나이브한 중심화 강조 확장은 ETD 핵심 행렬의 양의 정치성을 파괴해 불안정을 야기할 수 있다.
• •RETD는 커플된 핵심 행렬의 하우-우측 블록을 1에서 (1+c)로 올려 보조 중심화 재귀만 정규화한다.
• •진단용 선형 오프-폴리시 예측 실험에서 RETD는 불안정성을 피하면서 유리한 강조 기하구조를 보존했다.