JSON 스키마를 완벽히 지키는 LLM 출력도 의미적으로는 틀린 거래를 만들 수 있다는 것을 정량화한 연구다. 저자들은 레스토랑 주문 에이전트용 결정적 벤치마크 OrderBench를 만들어 구문 유효성, 스키마 유효성, 상태 결정, 항목 의미 정확성, 제약 보존, 위험 수락을 분리 측정했다. Nebius Token Factory로 4개 오픈 모델에 2,400회 호출한 결과, 최강 모델은 스키마 유효성 100%를 달성하고도 의미적 성공률은 80% 수준에 그쳤고, 약한 모델에서는 스키마상 유효하지만 안전하지 않은 수락이 두 자릿수 비율로 발생했다. 구조화 출력은 필요한 인터페이스 계층일 뿐 도메인 검증과 fail-closed 실행을 대체할 수 없다는 실무적 경고다.
- •구문·스키마 유효성과 의미 정확성·제약 보존·위험 수락을 분리 측정하는 주문 에이전트 벤치마크 OrderBench 구축
- •4개 오픈 모델 대상 2,400회 호출 실험(프롬프트 전용 vs JSON 스키마 모드)
- •최강 모델도 스키마 유효성 100%에서 의미적 성공률은 약 80%에 그침
- •약한 모델은 스키마상 유효한 '안전하지 않은 수락'이 두 자릿수 비율로 발생
- •구조화 출력만으로는 부족하며 도메인 검증과 fail-closed 실행이 필수라는 결론
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
When JSON Is Not Enough: Semantic Reliability of Schema-Constrained LLM Ordering Agents
- 1.OrderBench 공개: 주문 에이전트의 스키마 유효성과 의미적 안전성을 분리 평가하는 벤치마크
- 2.오픈모델 4종·2,400회 호출에서 스키마 100% 유효여도 의미적 성공률은 약 80%에 그침
- 3.약한 모델은 스키마를 통과한 안전하지 않은 주문 수락이 두 자릿수 비율로 발생
- 4.구조화 출력은 인터페이스일 뿐 도메인 검증과 fail-closed 실행을 대체 못 한다고 경고
왜 중요한가?
JSON 스키마 강제만으로 LLM 트랜잭션 에이전트가 안전하다고 보는 실무 관행을 수치로 반박한다. 주문·결제 등 실행형 에이전트에는 구조화 출력과 별개의 도메인 검증 계층이 필수임을 보여준다.
이 논문은 LLM 에이전트가 자연어 의도를 구조화된 객체로 변환할 때 JSON 스키마만으로는 의미론적 신뢰성을 완전히 보장하기 어렵다는 문제를 제기합니다. 고객 서비스, 자동화된 주문 처리 등 LLM 에이전트 활용이 급증하는 국내 시장에서, 에이전트가 생성하는 트랜잭션의 정확한 의미와 순서 보장은 사용자 신뢰와 직결됩니다. 이는 국내 금융, 전자상거래 등 중요한 서비스 분야에서 LLM 에이전트의 안정적인 운영과 오류 방지를 위해 필수적인 기술적 고려사항이 될 것입니다.
본문 미리보기
arXiv:2607.18261v1 Announce Type: new Abstract: LLM agents are increasingly used as transaction compilers: a user states an intent in natural language, and the model emits a structured object that an API can execute. JSON Schema and provider-level structured-output modes are useful because they remove a large class of parse failures, but they do not by themselves decide whether the object is a safe, faithful transaction. We introduce OrderBench, a deterministic benchmark for restaurant ordering
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
