LLM 시스템의 신뢰성이 모델 능력만이 아니라 과제 프레이밍과 컨텍스트 선택을 관장하는 '추론 시점 제어(inference-time control)'에 크게 좌우된다는 것을 보인 연구다. 저자들은 이 제어 계층을 프로그램적 조정과 제한된 프롬프트 추론을 결합한 구조화 인터페이스로 외부화한 CogniConsole을 제안했다. 다단계 상호작용 환경에서 489개의 제어 가능성 프로브를 실험한 결과, 동일한 모델에서도 구조적 스캐폴딩을 강화할수록 출력 분산과 실패율이 체계적으로 감소했다. 컨텍스트 드리프트나 제약 미준수 같은 실패가 능력 부족이 아니라 제어 미비에서 비롯된다는 근거로, 스케일링 외에 시스템 설계로 신뢰성을 높일 수 있음을 시사한다.
- •추론 시점 제어를 일급 추상화로 외부화한 CogniConsole 아키텍처 제안
- •다단계 상호작용 환경에서 489개 제어 가능성 프로브로 검증
- •모델 고정 상태에서 구조적 스캐폴딩 강화만으로 출력 분산과 실패율이 체계적으로 감소
- •컨텍스트 드리프트·제약 미준수 등 실패 다수가 능력 부족이 아닌 제어 미비 탓
CogniConsole: Externalizing Inference-Time Control as a Formal Abstraction for Reliable LLM Interactions
본문 미리보기
arXiv:2607.08774v1 Announce Type: new Abstract: Reliability in large language model (LLM) systems is typically framed as a function of model capability. We challenge this by demonstrating that reliability is significantly influenced by \emph{inference-time control} -- the computational layer governing task framing and context selection. We introduce \emph{CogniConsole}, an architectural instantiation that externalizes this control into a structured interface combining programmatic coordination
전체 내용이 궁금하다면?
원문을 직접 읽어보세요