LLM이 제3자에게 실제 행동을 유도하는 '2자 개인화' 능력을 평가하는 SDR-Bench를 공개한 연구다. 기존 벤치마크는 모델이 서비스 중인 사용자 대상의 발신자 측 적응만 측정했으나, 이 연구는 Kamenica-Gentzkow의 베이지안 설득 프레임워크를 생성 에이전트에 적용해 영업(세일즈) 도메인에서 검증했다. 22개 산업, 약 200개 기업의 고객 성공 사례 6,279건을 미래 데이터 누출을 막는 시간 제약 시뮬레이션으로 제공한다. 프론티어 LLM과 딥리서치 에이전트 전반에서 일관된 개인화 정체(plateau)가 관찰됐고, Fortune 100 테크 코호트에서는 어떤 모델도 성공/실패 아웃리치를 통계적으로 구분하지 못했다. 다만 영업 담당자 12명 현장 배포에서 생성 콘텐츠의 48%가 즉시 유용 판정을 받아(전문가 일치도 Pearson 0.82), 실무 보조 가치는 확인됐다.
- •수신자 행동 유도라는 고전적 2자 개인화를 측정하는 SDR-Bench 공개—22개 산업·6,279건 사례
- •베이지안 설득(Kamenica-Gentzkow 2011) 프레임워크를 생성 에이전트에 적용
- •프론티어 LLM 전반에서 개인화 성능 정체 확인—Fortune 100 코호트에서 성공/실패 구분 실패
- •영업 담당자 12명 현장 검증에서 생성 콘텐츠 48% 즉시 유용 판정, 전문가 일치도 Pearson 0.82
- •SDR-Arena·SDR-Bench 공개로 재현 가능한 생성형 개인화 연구 지원
Benchmarking the Personalization Capabilities of Large Language Models
본문 미리보기
arXiv:2607.20471v1 Announce Type: new Abstract: Personalization, the act of varying a message to induce action from a specific receiver while keeping sender, channel, and time fixed, has a long tradition in psychology and marketing as a two-party problem in which sender and receiver have independent objectives. Large language models remove the bounded-inventory constraint of classical retrieval-and-ranking approaches by generating a continuum of message variants conditioned on inferred receiver
전체 내용이 궁금하다면?
원문을 직접 읽어보세요