기업 데이터에 대한 자연어 인터페이스는 불명확한 요청을 통제된 실행 가능 동작으로 변환하면서 잘못된 질의, 정책 위반, 비용, 비결정성을 함께 관리해야 한다. SemPlan Benchmark는 영어와 브라질 포르투갈어로 구성된 1,800건(과학적 평가용 고정 부분집합 1,200건)의 결정론적 합성 벤치마크로 이 설계 공간을 평가한다. 직접 SQL 생성(A1), 제한된 도구-에이전트(A2), 구조화된 의미 요청 생성 후 결정론적 계획·실행(A3), 명확화/상태유지 의미계획 변형(A4) 네 아키텍처를 비교한 결과, 답변 정확도는 절대적으로 낮았으며(A1 22.25%, A2 22.58%, A3 25.67%, A4 24.25%) A3가 가장 높은 정확도로 나머지를 유의하게 앞섰지만 A1은 정책 준수율이 가장 높고 위험·무효 응답률이 가장 낮았다. A4는 평균 API 비용과 잘못된 거절률이 가장 낮았다. 150건 안정성 부분집합에서 정답 재현율은 92~98.67%로, 결과는 구조적 제약이 실패 양상과 효율성을 바꿀 뿐 정확도를 일관되게 높이거나 모호성·다중턴 상태 일관성 문제를 해결하지는 못하는 트레이드오프임을 보여준다.

• •영어·포르투갈어 1,800건 결정론적 합성 벤치마크로 기업 데이터 자연어 질의 설계 4가지를 비교.
• •답변 정확도는 22.25~25.67%로 전체적으로 낮았고, 구조화 의미계획(A3)이 가장 높았다.
• •직접 SQL 생성(A1)은 정책 준수율이 가장 높고 위험·무효 응답률은 가장 낮았다.
• •구조적 제약이 실패 양상과 효율을 바꿀 뿐 정확도를 일관되게 높이지는 않는 트레이드오프임을 확인.