범용 코딩 에이전트가 초파리 광유전학 데이터-발견 파이프라인을 자동화할 수 있는지 실증 분석한 사례 연구다. 기존 벤치마크보다 훨씬 큰 데이터와 도메인 전문가 기준의 평가를 적용한 결과, 에이전트는 개별 파이프라인 단계는 여러 개 해결해 단계별 자동화 가능성을 보였으나, 명확한 반복 기준이 없어 과학적 판단으로 스스로 해를 평가해야 할 때 가장 크게 실패했다. 중간 출력을 시각적으로 점검하려 시도해도 결과 해석이나 후속 조치에는 대체로 실패했고, 전 단계를 이어붙여야 하는 엔드투엔드 파이프라인 완수는 현재 능력 밖이었다. 연구진은 자원 관리와 대규모 미공개 데이터 일반화 등 기존 벤치마크에 없던 과제를 짚고, 개방형 과제용 평가 기준 설계 원칙을 제시한다.

• •초파리 광유전학 데이터-발견 파이프라인에서 범용 코딩 에이전트를 도메인 전문가 기준으로 평가한 실증 연구
• •개별 단계는 해결해 단계별 자동화는 가능했으나, 명확한 반복 기준 없이 스스로 해를 평가해야 할 때 가장 크게 실패
• •중간 출력 시각적 점검을 시도해도 결과 해석·후속 조치에 대체로 실패, 엔드투엔드 파이프라인 완수는 현 능력 밖
• •계산 자원 관리·대규모 미공개 데이터 일반화 등 기존 벤치마크에 없던 과제를 식별하고 평가 설계 원칙 제시