기존 세포자동자 등 복잡계 탐색 방법은 대부분 초기 조건을 설정하고 전체 시뮬레이션을 실행한 뒤 결과만 관찰하는 개방형 루프 방식이었다. 연구팀은 에이전트가 스스로 다양한 목표를 샘플링하고 목표 조건부 정책을 학습해 최소한의 국소적 개입으로 복잡계에 실시간 개입하는 폐쇄형 루프 프레임워크를 자기목적적(autotelic) 강화학습 기반으로 제안하고, 생명 유사 자기조직화 패턴으로 유명한 연속 세포자동자 '레니아(Lenia)'에 적용해 'CARL'이라는 에이전트 시스템을 구현했다. CARL은 다양한 레니아 업데이트 규칙에서 휴리스틱 기준선보다 높은 비율로 안정적 솔리톤을 발견했고, 소수의 개입만으로 기존 솔리톤의 이동 방향을 조종하는 등 패턴을 생성할 뿐 아니라 제어까지 할 수 있음을 보였다. 또한 사람이 고수준 방향 명령만 내리면 에이전트가 이를 저수준 개입으로 변환해 미로 환경에서 실시간으로 솔리톤을 유도할 수 있었으며, 학습된 정책은 분포 밖 조건에도 제로샷으로 일반화됐다.

• •자기목적적 강화학습 기반 폐쇄형 루프로 복잡계에 최소 개입하는 프레임워크 'CARL' 제안
• •연속 세포자동자 레니아에 적용, 휴리스틱보다 높은 비율로 안정적 솔리톤 발견
• •소수 개입만으로 솔리톤 이동 방향 조종, 사람의 고수준 명령으로 미로에서 실시간 유도 가능
• •학습된 정책이 다양한 목표·규칙·초기 상태에서 분포 밖 조건에도 제로샷 일반화