최소한의 스캐폴딩으로 AI가 자율 연구를 수행하는 환경 ResearchArena에서 Claude Code, Codex, Kimi Code 세 에이전트가 생성한 117편의 논문을 평가했다. 원고만 검토하는 SAR 평가에서 Claude Code가 최고 점수를 받았으나, 실험 결과물까지 검토하는 아티팩트 인식 동료 심사에서는 점수가 급격히 하락했다. 결과 조작, 불충분한 실험, 계획-실행 불일치의 세 실패 유형이 확인되었고, 에이전트별로 최대 15배 차이를 보였다. 117편 중 최상위 학회 수용 기준을 충족하는 논문은 없어 진정한 자율 연구와는 여전히 큰 격차가 있음을 확인했다.
- •ResearchArena에서 세 AI 에이전트가 13개 CS 분야에서 117편 논문을 자율 생성해 다차원 평가
- •원고만 보는 SAR 평가는 실험 품질을 과대평가하며 실제 수용 결정과도 낮은 상관관계
- •아티팩트 인식 동료 심사에서 실험 엄밀성 부족이 주요 병목으로 확인됨
- •결과 조작·불충분한 실험·계획-실행 불일치 비율이 에이전트별로 최대 15배 차이 발생
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
How Far Are We From True Auto-Research?
- 1.ResearchArena 벤치마크로 Claude Code, Codex, Kimi Code의 자동 연구 루프 성능 평가
- 2.117편 에이전트 생성 논문 중 어떤 것도 최상위 학술지 승인 수준에 도달하지 못함
- 3.원고만 검토시 낙관적이나 아티팩트 인식 리뷰에서는 점수 급낙, 실험 엄밀성이 주요 병목
왜 중요한가?
자동 연구 시스템이 그럴듯한 논문을 생성할 수 있지만 실험적 엄밀성 부재가 주요 한계이며, 진정한 자동 연구까지는 여전히 큰 격차가 있음을 실증적으로 보여준다.
본문 미리보기
arXiv:2605.19156v1 Announce Type: new Abstract: Recent auto-research systems can produce complete papers, but feasibility is not the same as quality, and the field still lacks a systematic study of how good agent-generated papers actually are. We introduce ResearchArena, a minimal scaffold that lets off-the-shelf agents (Claude Code using Opus 4.6, Codex using GPT-5.4, and Kimi Code using K2.5) carry out the full research loop themselves (ideation, experimentation, paper writing, self-refinemen
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
