IBM Research가 엔터프라이즈 Java 프레임워크 마이그레이션에서 AI 에이전트를 평가하는 오픈 벤치마크 ScarfBench를 공개했다. Spring, Jakarta EE, Quarkus 3개 생태계 간 마이그레이션을 다루며 애플리케이션 34개, 마이그레이션 태스크 204개, 약 15만 1천 줄 코드, 전문가 작성 테스트 1,331개로 구성된다. 생성 코드를 정답과 비교하는 대신 실제 빌드·배포·동작 검증을 통과하는지 평가하는데, 최강 에이전트도 동작 성공률 10% 미만에 그쳤다. Claude Code는 전체 앱 30개 중 29개 빌드 성공을 보고했지만 실제로는 22개만 성공해 에이전트 자기평가의 과신 문제도 드러났다. 마이그레이션 난관은 코드 변환보다 설정·인프라·런타임 의존성 관리에 있으며, 코딩 벤치마크 고득점이 실전 현대화 능력을 보장하지 않음을 보여준다.

• •Spring·Jakarta EE·Quarkus 간 마이그레이션 204개 태스크, 빌드·배포·동작 검증까지 평가
• •최강 코딩 에이전트도 동작(behavioral) 성공률 10% 미만
• •Claude Code는 30개 중 29개 빌드 성공 보고했으나 실제는 22개만 성공 — 자기평가 과신 확인
• •주된 난관은 코드 변환이 아니라 설정·Docker·Maven 등 환경·의존성 관리
• •데이터셋·리더보드·코드를 오픈소스로 공개(scarfbench.info)