이 연구는 세계가치관조사(WVS)를 기반으로 문화적으로 다양한 페르소나를 부여한 LLM 에이전트들이 장기간 가치 관련 대화를 나누는 시뮬레이션 프레임워크를 제시해, LLM이 다양하고 상충하는 인간 가치 체계를 얼마나 충실히 재현하는지 검증했다. GPT-4o, Gemini-2.5-Flash, Gemma-4-E4B 세 모델과 1,200개 페르소나, 15개 주제로 약 4,000건의 대화를 분석한 결과, 페르소나의 절반 이상이 처음부터 할당된 WVS 프로필을 제대로 표현하지 못했고 반복 대화 후에는 2~7%가 추가로 값이 이탈했다. 인구통계학적 세부정보를 제거하면 일부 모델에서 충실도가 개선됐지만 시뮬레이션된 가치 분포가 체계적으로 벗어나는 큰 흐름은 바뀌지 않았다. 인간 대화 대비 시뮬레이션 대화는 문체는 일관되나 의미상 다양성은 떨어지는 경향을 보였다.
- •WVS 기반 페르소나로 LLM 에이전트의 장기 가치관 시뮬레이션 충실도를 검증(3모델, 1,200페르소나)
- •페르소나의 50% 이상이 처음부터 할당된 가치 프로필을 제대로 반영하지 못함
- •반복 대화 후 2~7% 추가 이탈(value drift) 발생, 인구통계 제거해도 근본 개선은 제한적
- •인간 대화 대비 문체는 일관되나 의미적 다양성은 낮아 대표성에 한계
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The Failure Happens Before the Drift: The Social Dynamics of Values in LLM Agent Societies
- 1.세계가치관조사(WVS) 기반 다문화 페르소나 에이전트들의 장기 대화에서 가치관 충실도 평가
- 2.GPT-4o·Gemini-2.5-Flash·Gemma-4-E4B로 약 4천개 대화, 1200개 페르소나, 15개 주제 실험
- 3.페르소나 절반 이상이 애초부터 할당된 가치관을 제대로 표현 못했고, 반복 대화 후 2~7%가 추가 이탈
- 4.인구통계 정보를 제거해도 일부 모델만 개선될 뿐 전반적 편차 경향은 지속
왜 중요한가?
LLM 에이전트를 인간 참가자 대리로 쓰는 사회과학 시뮬레이션 연구에서, 가치관 표현의 근본적 한계가 시작 시점부터 존재한다는 점을 보여줘 결과 해석에 주의가 필요함을 시사한다.
본문 미리보기
arXiv:2609.05514v1 Announce Type: new Abstract: Large Language Model (LLM)-based agents are increasingly used as proxies for human participants in social science research, yet it remains unclear whether they can faithfully simulate diverse and conflicting human value systems. We present a World Values Survey (WVS)-grounded simulation framework where culturally diverse agents with different communication styles engage in longitudinal, value-laden discussions. Across approximately 4,000 conversat
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월8일] “수학 문제 4000개에 AI 투입해 성과”…오픈AI가 보여준 과학연구의 변화](https://cdn.aitimes.com/news/photo/202610/216072_220045_048.png)

