2024년 허리케인 밀턴 대비 설문(n=946)을 실증 테스트베드로 활용해 LLM의 설문 연구 통합 가능성을 5단계 프레임워크로 평가했다. 보호 동기 이론(PMT) 제약 지식 그래프와 7가지 LLM 구성을 비교한 결과, 제안한 A-TLM 모델이 재난 관련 블록별 MNAR 결측 조건에서 모든 고전 대체 기준선보다 낮은 RMSE를 달성했다. 구조화된 PMT 기반 검색과 단일 모델 호출 통합이 비구조적 RAG 및 순차 추론보다 우수하며, 집계 편향이 0이어도 하위 집단 오류가 상쇄될 수 있어 하위 집단 편향 감사를 권장한다.
- •재난 대비 설문 연구에 LLM을 통합하는 5단계 프레임워크 설계 및 평가
- •보호 동기 이론(PMT) 기반 지식 그래프로 구조화된 검색 증강 LLM 구성 개발
- •제안 A-TLM 모델이 블록별 MNAR 결측 조건에서 모든 고전 대체 기준선보다 낙은 RMSE 달성
- •집계 편향이 0에 가까워도 하위 집단 오류가 상쇄될 수 있어 하위 집단 편향 감사를 보고 표준으로 제안
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Can Large Language Models Revolutionize Survey Research? Experiments with Disaster Preparedness Responses
- 1.LLM을 설문 설계·표본 선택·결측 대체 등 5단계 설문 워크플로에 통합하는 프레임워크 제시
- 2.제안한 A-TLM 모델이 재난 관련 MNAR 조건에서 기존 결측치 대체 기법 모두 능가
- 3.이론 기반 RAG 구조가 비구조적 검색 대비 MAE 0.993으로 우수한 성능 달성
왜 중요한가?
응답률 하락과 AI 기반 사기 응답으로 위기를 겪는 설문 연구에 LLM이 실질적 해법을 제공할 수 있음을 체계적으로 실증한다.
본문 미리보기
arXiv:2605.19229v1 Announce Type: new Abstract: Survey research faces mounting structural challenges: declining response rates, sample bias, block-wise missingness among at-risk respondents, and AI-assisted fraudulent completions in online panels. Large language models (LLMs) have been proposed as a remedy, yet rigorous evaluations across the full survey workflow remain scarce, particularly in disaster contexts where data quality matters most. We present and evaluate a five-stage framework for
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
