스탠퍼드 James Zou 팀이 AI 에이전트에 서로 다른 페르소나를 부여하면 같은 데이터·질문에서 상반된 결론을 체계적으로 도출함을 보였다. 42개 인간 연구팀이 분석한 이민 데이터 실험에서 AI 에이전트는 인간 연구자 간 이념적 효과 추정 격차의 72%를 재현했고, 상반된 결론의 보고서 86%가 AI 심사를, 78%가 인간 전문가 다수결 심사를 통과해 개별 분석의 결함으로는 문제를 식별하기 어려웠다. 문제의 본질이 잘못된 분석이 아니라 '방어 가능한 분석 공간에서의 선택적 탐색·보고'임을 지적하며, 분석 경로 분포에서 보고된 주장의 극단성을 측정하는 m-value와 이를 추정하는 Agentic Bootstrap을 제안했다. 인간 이민 연구 분석의 13.5%가 가장 극단적인 5% 구간(m<0.05)에 해당했다. AI가 p-해킹식 선택적 분석을 값싸게 증폭할 수 있는 시대에 과학적 신뢰성의 새 기준을 제시한다.

• •페르소나만 바꿔도 AI 에이전트가 같은 데이터에서 상반된 결론 도출, 이민 데이터 실험에서 인간 연구자 이념 격차의 72% 재현
• •상반된 결론의 보고서 86%가 AI 심사, 78%가 인간 전문가 심사 통과 — 개별 분석의 결함으로는 편향 식별 불가
• •핵심 문제는 오류가 아니라 방어 가능한 분석 공간에서의 선택적 탐색·보고이며, AI가 이를 저비용으로 증폭 가능
• •m-value 제안: 분석 경로 분포에서 보고된 주장만큼 극단적인 결과가 나올 확률 — Agentic Bootstrap으로 AI가 경로를 샘플링해 추정
• •인간 이민 연구 분석의 13.5%가 분석 공간 최극단 5% 구간(m<0.05)에 해당