신호 시간 논리(STL)는 실시간 속성을 정의하고 만족도를 정량적으로 채점하는 강건성 점수를 제공한다. 기존 연구는 이 강건성 점수를 강화학습(RL) 보상으로 사용해 STL 명세를 만족하는 제어 정책을 학습했지만, 강건성이 실행 이력에 의존하기 때문에 중첩된 시간 연산자를 포함한 장기 명세에서는 상태공간이 다루기 힘들 정도로 커진다는 문제가 있었다. 이 논문은 STL 명세로부터 시간 교대 오토마타를 구성하고 오토마타의 위치와 시계값으로 상태공간을 증강한 뒤 오토마타의 수락 조건에서 보상을 도출하는 새로운 오토마타 기반 방법을 제시한다. 실험 결과 이 방법으로 학습한 정책은 기존 강건성 기반 보상 방식보다 더 높은 강건성 점수와 만족률을 달성했다.

• •STL 명세로부터 시간 교대 오토마타를 구성해 마르코프 보상을 부여하는 새로운 RL 메커니즘 제안.
• •오토마타 위치와 시계값으로 상태공간을 증강해 장기 중첩 명세의 상태공간 폭발 문제를 해결.
• •기존 강건성 기반 보상 방식 대비 더 높은 강건성 점수와 만족률을 달성.
• •확량 모델 없이도 작동하는 학습 기반 제어에 적합한 마르코프 보상 설계.