DROPJ는 환경 동역학을 모르고 적절한 보상 함수도 없는 안전 필수 환경에서 인간 입력으로 에이전트를 안전하게 학습·배포하는 방법이다. 과거 실제 궤적 데이터로 월드 모델(학습된 시뮬레이터)을 만들고, 인간이 그 시뮬레이터에서 직접 플레이해 정보량 높은 시뮬레이션 궤적을 뽑은 뒤, 궤적 구간 쌍에 대한 선호와 그 이유(정당화)를 함께 수집해 보상 모델을 학습한다. 이 보상 모델과 월드 모델을 결합해 모델 예측 제어(MPC)로 에이전트를 바로 배포한다. 실사용자 실험에서 사용자 생성 궤적이 학습 계산 비용을 크게 줄이고 배포 성능도 높였으며, 다른 피드백보다 선호 기반 피드백이 성능을 크게 개선했다. 특히 선호에 딸린 안전 정당화가 배포 시 안전성을 높이거나 사용자가 지정한 안전 측면을 우선시하게 만들어, 인간 피드백 기반 안전 RL의 실용 경로를 보여준다.

• •보상 함수 없는 안전 필수 환경을 위해 월드 모델+인간 플레이+정당화 달린 선호로 보상 모델을 학습하는 DROPJ 제안
• •학습된 보상 모델과 월드 모델을 결합해 모델 예측 제어(MPC)로 직접 배포
• •사용자가 생성한 정보량 높은 시뮬레이션 굤적이 학습 계산 비용을 유의미하게 절감하고 배포 성능도 개선
• •다른 피드백 유형보다 선호(preference) 기반 피드백이 배포 성능을 크게 향상
• •선호에 덧붙인 안전 정당화가 배포 시 안전성 강화 및 사용자 지정 안전 측면 우선순위화에 효과적