설문 응답자를 대체하는 합성 페르소나로서 LLM이 개인의 향후 선택을 얼마나 잘 예측하는지, 어떤 정보가 가장 도움이 되는지 살펴본 연구다. 인구통계, 성격 특성, 인지 점수, 행동 이력(과거 설문 응답) 등 정보를 단계적으로 추가한 결과, 모집단 수준의 평균 편향 개수는 모든 조건에서 사람과 비슷했지만(7.1~8.1개 대 사람 7.1개), 페르소나 설명만으로는 사람 간 분산의 53~67%만 재현된 반면 행동 이력을 더하면 사람 수준까지 회복됐다. 개인 수준에서는 설명 기반 페르소나가 사람의 재검사 신뢰도 중 7~12%만 확보한 데 비해 행동 이력을 추가하면 28%까지 올라갔고, 모든 17개 인구통계 그룹에서 행동 이력 조건의 정보량이 가장 높았다.
- •인구통계·성격·인지 점수·행동 이력 등 정보를 단계적으로 추가해 합성 페르소나의 예측력을 비교
- •모집단 평균 편향 개수는 모든 조건에서 사람과 비슷하나 개인차 재현에는 큰 격차
- •행동 이력 추가 시 사람 간 분산 재현율이 53~67%에서 사람 수준까지 회복
- •개인 수준 정보량도 7~12%에서 28%로 상승, 모든 17개 인구통계 그룹에서 행동 이력이 최고 성능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Behavioral History Outperforms Descriptions of the Person for LLM Synthetic Personas
- 1.합성 페르소나의 개인 선택 예측에 인구통계·성격보다 '과거 행동 이력'이 훨씬 효과적임을 美 성인 845명 패널로 검증
- 2.집단 평균은 모든 조건이 인간 평균에 근접하나, 설명 기반 페르소나는 개인차 분산의 53~67%만 재현
- 3.행동 이력 추가 시 분산 재현율이 인간 수준까지 회복, 개인 수준 예측 정보량도 7~12%에서 28%로 상승
- 4.설명 기반 페르소나는 특정 집단서 정보력 거의 없고, 합성 응답은 인간보다 교육·소득 차이가 더 크게 나타남
왜 중요한가?
설문 대체용 합성 응답자를 설계할 때 '누구인지에 대한 설명'보다 '과거에 어떻게 답했는지'를 입력하는 쪽이 개인 수준 예측력을 크게 높인다는 근거를 제시해, 합성 패널 리서치 설계에 실질적 지침이 된다.
본문 미리보기
arXiv:2610.03998v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly used as synthetic personas representing survey respondents. Their validity as substitutes for particular respondents depends on whether they reproduce individuals' decisions. We examine what information helps synthetic respondents predict each individual's later choices, using five conditions that add progressively richer information: no personal information, demographics, personality traits, cognitive
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
