구조화된 추론 개입(scaffolding)이 LLM의 전략적 경제 추론을 개선하는지, 그 효과가 모델 아키텍처에 따라 달라지는지를 호텔링 선형 도시 모델로 진단했다. GPT-4.1-mini(표준 지시 추종형)와 GPT-5-mini(추론 최적화형)를 기준선 포함 5개 조건, 8개 문항, 3개 프레이밍으로 총 720개 응답을 평가한 결과, 개입 유형과 아키텍처 간 유의한 교차 상호작용(p=0.002, d=1.69)이 나타났다. 커밋먼트 개입은 표준 모델을 개선(+0.21)하지만 추론 모델을 저하(-0.63)시키고, 원칙 분리 개입은 정반대 패턴(-0.40 vs +0.31)을 보였다. 적대적 스트레스 테스트는 추론 모델에 2.6배 더 큰 손상을 입혔고, 두 모델 모두 올바른 전략을 '아는' 비율이 '실행하는' 비율을 크게 웃도는 선언-절차 격차를 보여, 추론 개입은 모델 아키텍처에 맞춰 설계해야 함을 시사한다.
- •호텔링 선형 도시 모델 기반 5개 조건×8문항×3프레이밍×3반복 = 720개 응답 평가 설계
- •개입 유형×아키텍처 교차 상호작용 유의(t(7)=4.79, p=0.002, d=1.69): 커밋먼트는 표준 모델에, 원칙 분리는 추론 모델에만 유리
- •적대적 스트레스 테스트에서 추론 최적화 모델이 2.6배 더 큰 성능 저하(-1.47 vs -0.57)
- •전략을 식별하는 능력이 실행 능력을 크게 앞서는 선언-절차 격차 지속 — 분리 개입만이 추론 모델의 격차를 완전 해소
Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets
본문 미리보기
arXiv:2607.09743v1 Announce Type: new Abstract: We investigate whether structured reasoning interventions improve the strategic economic reasoning of large language models, and whether their effects depend on model architecture. Using Hotelling's linear city model as a diagnostic vehicle, we evaluate GPT-4.1-mini (a standard instruction-following model) and GPT-5-mini (a reasoning-optimized model) under five conditions - an unscaffolded baseline and four reasoning interventions - across eight q
전체 내용이 궁금하다면?
원문을 직접 읽어보세요