0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Lost in the Fallback: How Reliably Do Typed Decision Models Use Fallback Options?
- 1.요청 라우팅·모델 선택에 쓰이는 타입 결정모델(TDM)의 폴백 규칙 준수를 평가하는 PFR 테스트 제안
- 2.정규·폴백 옵션 전환 정확도와 논리적으로 동일한 규칙 표현 간 일관성을 함께 측정
- 3.정답 카테고리를 명시적으로 제공해도 오류가 지속되는 등 인식과 폴백 실행 간 괴리 발견
- 4.동일한 폴백 규칙을 다르게 표현만 바꿔도 모델 판단이 크게 달라지는 불일치 확인
왜 중요한가?
폴백 메커니즘이 신뢰성을 높이기 위한 장치임에도 오히려 오류를 유발할 수 있음을 실증해, 모델 라우팅·오케스트레이션 시스템 설계 시 폴백 로직 자체의 검증이 필요함을 시사한다.
본문 미리보기
arXiv:2610.19856v1 Announce Type: new Abstract: Typed decision models (TDMs) are increasingly used in applications such as request routing and model selection, making reliable decisions critical to system performance. Fallback options accommodate categories outside regular choices, enabling deferral to human experts or more capable models. While recent works have examined adversarial vulnerabilities in TDMs, their ability to follow fallback rules in non-adversarial settings remains underexplore
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안


