JSON 스키마를 완벽히 지키는 LLM 출력도 의미적으로는 틀린 거래를 만들 수 있다는 것을 정량화한 연구다. 저자들은 레스토랑 주문 에이전트용 결정적 벤치마크 OrderBench를 만들어 구문 유효성, 스키마 유효성, 상태 결정, 항목 의미 정확성, 제약 보존, 위험 수락을 분리 측정했다. Nebius Token Factory로 4개 오픈 모델에 2,400회 호출한 결과, 최강 모델은 스키마 유효성 100%를 달성하고도 의미적 성공률은 80% 수준에 그쳤고, 약한 모델에서는 스키마상 유효하지만 안전하지 않은 수락이 두 자릿수 비율로 발생했다. 구조화 출력은 필요한 인터페이스 계층일 뿐 도메인 검증과 fail-closed 실행을 대체할 수 없다는 실무적 경고다.
- •구문·스키마 유효성과 의미 정확성·제약 보존·위험 수락을 분리 측정하는 주문 에이전트 벤치마크 OrderBench 구축
- •4개 오픈 모델 대상 2,400회 호출 실험(프롬프트 전용 vs JSON 스키마 모드)
- •최강 모델도 스키마 유효성 100%에서 의미적 성공률은 약 80%에 그침
- •약한 모델은 스키마상 유효한 '안전하지 않은 수락'이 두 자릿수 비율로 발생
- •구조화 출력만으로는 부족하며 도메인 검증과 fail-closed 실행이 필수라는 결론
When JSON Is Not Enough: Semantic Reliability of Schema-Constrained LLM Ordering Agents
본문 미리보기
arXiv:2607.18261v1 Announce Type: new Abstract: LLM agents are increasingly used as transaction compilers: a user states an intent in natural language, and the model emits a structured object that an API can execute. JSON Schema and provider-level structured-output modes are useful because they remove a large class of parse failures, but they do not by themselves decide whether the object is a safe, faithful transaction. We introduce OrderBench, a deterministic benchmark for restaurant ordering
전체 내용이 궁금하다면?
원문을 직접 읽어보세요