구조화된 추론 개입(scaffolding)이 LLM의 전략적 경제 추론을 개선하는지, 그 효과가 모델 아키텍처에 따라 달라지는지를 호텔링 선형 도시 모델로 진단했다. GPT-4.1-mini(표준 지시 추종형)와 GPT-5-mini(추론 최적화형)를 기준선 포함 5개 조건, 8개 문항, 3개 프레이밍으로 총 720개 응답을 평가한 결과, 개입 유형과 아키텍처 간 유의한 교차 상호작용(p=0.002, d=1.69)이 나타났다. 커밋먼트 개입은 표준 모델을 개선(+0.21)하지만 추론 모델을 저하(-0.63)시키고, 원칙 분리 개입은 정반대 패턴(-0.40 vs +0.31)을 보였다. 적대적 스트레스 테스트는 추론 모델에 2.6배 더 큰 손상을 입혔고, 두 모델 모두 올바른 전략을 '아는' 비율이 '실행하는' 비율을 크게 웃도는 선언-절차 격차를 보여, 추론 개입은 모델 아키텍처에 맞춰 설계해야 함을 시사한다.
- •호텔링 선형 도시 모델 기반 5개 조건×8문항×3프레이밍×3반복 = 720개 응답 평가 설계
- •개입 유형×아키텍처 교차 상호작용 유의(t(7)=4.79, p=0.002, d=1.69): 커밋먼트는 표준 모델에, 원칙 분리는 추론 모델에만 유리
- •적대적 스트레스 테스트에서 추론 최적화 모델이 2.6배 더 큰 성능 저하(-1.47 vs -0.57)
- •전략을 식별하는 능력이 실행 능력을 크게 앞서는 선언-절차 격차 지속 — 분리 개입만이 추론 모델의 격차를 완전 해소
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets
- 1.추론 스캐폴딩 효과가 모델 아키텍처에 따라 역전된다는 교차 상호작용 발견(p=0.002, d=1.69)
- 2.커미트먼트 스캐폴딩은 GPT-4.1-mini를 개선(+0.21)하지만 GPT-5-mini는 악화(-0.63)
- 3.적대적 스트레스 테스트는 추론 최적화 모델에 2.6배 더 큰 성능 저하 유발
- 4.두 모델 모두 전략 식별은 잘하나 실행은 못하는 선언-절차 격차 확인, 분리 스캐폴딩만 해소
왜 중요한가?
동일한 프롬프트 기법이 표준 모델과 추론 모델에서 정반대 효과를 낸다는 실증으로, 모델 교체 시 기존 프롬프트 전략을 그대로 쓰면 성능이 오히려 떨어질 수 있음을 보여준다. LLM 기반 전략·경제 시뮬레이션 설계자에게 아키텍처별 개입 선택 기준을 제공한다.
언급 프로젝트
대규모 언어 모델(LLM)의 전략적 경제 추론 능력을 향상시키는 방법을 다룬 이 연구는 국내 LLM 개발 기업들에게 중요한 시사점을 제공합니다. 한국의 다양한 산업 분야에서 LLM의 활용도가 높아지는 가운데, 모델의 아키텍처를 고려한 추론 개입은 LLM이 실제 비즈니스 및 정책 결정 과정에서 더 정교하고 신뢰할 수 있는 전략적 판단을 내리도록 도울 수 있습니다.
본문 미리보기
arXiv:2607.09743v1 Announce Type: new Abstract: We investigate whether structured reasoning interventions improve the strategic economic reasoning of large language models, and whether their effects depend on model architecture. Using Hotelling's linear city model as a diagnostic vehicle, we evaluate GPT-4.1-mini (a standard instruction-following model) and GPT-5-mini (a reasoning-optimized model) under five conditions - an unscaffolded baseline and four reasoning interventions - across eight q
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

