프론티어 추론 모델이 문제를 풀 능력을 갖추고도 성급한 자기 의심 때문에 실패하는 현상, 이른바 '컨텍스트 불안(context anxiety)'을 처음으로 체계적으로 분석한 연구다. 저자들은 이 현상이 상당 부분 모델이 과제를 끝내는 데 필요한 토큰 수를 정확히 추정하지 못하는 데서 비롯된다고 밝혔다. 또 모델이 컨텍스트 제약을 받고 있다고 스스로 인식할 때 실질적인 효율 손실이 발생함을 보였다. 반면 모델이 컨텍스트 불안 없이 장기 과제를 푸는 대안 전략을 학습할 수 있다는 점도 확인했다. 즉 성능 향상이 모델 능력의 확장이 아니라 자기 한계를 정확히 평가하고 적응하는 능력을 개선하는 데서 나올 수 있다는 함의다.
- •추론 모델의 실패가 능력 부족이 아니라 성급한 자기 의심 때문일 수 있다는 점을 처음으로 체계화했다.
- •원인의 일부는 과제 완료에 필요한 토큰 수를 정확히 예측하지 못하는 능력 부족이다.
- •제약을 인지한 상태에서 작동할 때 실질적인 효율 손실이 발생한다.
- •모델은 컨텍스트 불안 없이 장기 과제를 푸는 대안 전략을 학습할 수 있음을 보였다.
- •스케일링보다 자기 한계 평가·적응 능력 개선이 성능 향상 경로가 될 수 있다는 함의다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Lost in Context: Addressing Context Anxiety in Large Language Models
본문 미리보기
arXiv:2607.21616v1 Announce Type: new Abstract: Conventional wisdom suggests that reasoning models fail when problems exceed their capabilities. However, we find that frontier reasoning models sometimes possess the necessary capabilities to solve problems but fail due to premature self-doubt -- a phenomenon informally known as context anxiety. We provide the first systematic study of context anxiety, demonstrating that it arises, in part, from a model's inability to accurately estimate the toke
전체 내용이 궁금하다면?
원문을 직접 읽어보세요