시드니 시어스와 디나 스콜닉 와이스버그의 연구에 따르면 2500명 넘는 참가자를 대상으로 한 실험에서 사람들은 챗GPT가 쓴 단편소설과 인간이 쓴 단편소설을 구별하지 못했고 정답률은 우연 수준에 그쳤다. 참가자들은 오히려 AI가 쓴 글을 품질(1.54 대 0.97)과 몰입도(1.42 대 1.00) 모두에서 더 높게 평가했지만, 저자가 사람이라고 알려줬을 때는 실제 저자와 무관하게 평점이 더 높아지는 경향을 보였다. 연구진은 AI 텍스트가 더 매끄럽고 읽기 쉽고 감정적으로 긍정적인 경향이 있어 실제 문학적 우수성과는 별개로 높은 평가를 받았을 수 있다고 설명했다.

• •2500명 이상 참가자 실험, AI vs 인간 단편소설 구별 정답률 우연 수준
• •AI 글이 품질(1.54 대 0.97)·몰입도(1.42 대 1.00) 모두 더 높게 평가됨
• •저자를 '사람'이라 알렸을 때 실제 저자와 무관하게 평점 상승
• •연구진: AI 글은 매끄럽고 읽기 쉬워 높은 평가, 문학적 우수성과는 별개
• •AI에 우호적인 참가자일수록 AI 저자로 알려졌을 때 더 후한 평가