STEP-KTODER는 코드 생성에서 함수 단위 실행 피드백으로 선호 최적화를 수행하는 프레임워크다. 수학 추론과 달리 코드 생성에는 표준화된 '스텝' 개념이 없다는 문제를 해결하기 위해, 다중 함수로 분해된 프로그램의 모듈 수준 함수를 스텝으로 정의하고 자동 생성된 단위 테스트로 이진 정답 라벨을 부여한다. HumanEval(+), MBPP(+), BigCodeBench, LiveCodeBench에서 평가한 결과 결과 기반 KTO 및 DPO보다 성능이 향상됐다. 추가 분석에서는 LLM을 채점자로 쓴 라벨링이 함수 실패를 체계적으로 과대 예측해 긍정 라벨을 오염시키고 최적화 성능을 떨어뜨려, 실행 기반 라벨의 필요성을 확인했다.

• •다중 함수 프로그램의 모듈 수준 함수를 '스텝'으로 정의
• •자동 생성 단위 테스트로 함수별 이진 정답 라벨 부여
• •HumanEval(+), MBPP(+), BigCodeBench 등에서 기존 KTO·DPO 대비 성능 향상
• •LLM 채점 라벨링은 함수 실패를 과대 예측해 성능 저하 유발