자율 소프트웨어 생성(ASG)은 사람의 요구사항을 실행 가능한 애플리케이션으로 전환하는 것을 목표로 하지만, 애플리케이션이 만들어졌다고 해서 그 구성요소들이 명시된 행동 요구사항을 충족한다는 보장은 없다. 연구팀은 게임 개발에서 행동적 테스트 가능성을 생성 과제의 일부로 만드는 벤치마크 GameASG-Bench를 제시했으며, 생성 전에 평가 인터페이스 명세를 정의해 시작 시나리오·플레이어 동작·안정적 스냅샷·거부 동작·불변조건을 고정하고 내부 구현은 자유롭게 남겨둔다. 소스 수준 준수를 평가하는 정적 L1 검사와 실제 입력·런타임 증거를 결합한 브라우저 실행형 L2 검사를 포함해, 12개 주요 장르와 2D·3D 상호작용을 아우르는 47개 브라우저 네이티브 게임 생성 과제로 구현했다. 9개 에이전트 스택 중 최고 평균 L2 통과율은 93.2%였지만, L1과 필수 L2를 모두 요구하는 엄격한 과제 성공률은 55.3%(47개 중 26개)에 그쳐, 평균 통과율이 높아도 과제 수준의 준수 격차가 가려질 수 있음을 드러냈다.

• •GameASG-Bench는 게임 생성에서 행동적 테스트 가능성 자체를 생성 과제의 일부로 만드는 벤치마크다
• •정적 소스 검사(L1)와 브라우저 실행 기반 실제 입력·런타임 검사(L2)를 결합해 47개 과제로 구현했다
• •9개 에이전트 스택 중 최고 평균 L2 통과율은 93.2%였지만 엄격한 과제 성공률은 55.3%에 그쳤다
• •높은 평균 검사 통과율이 실제로는 과제 수준의 준수 격차를 가릴 수 있음을 보여준다