ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence | AIChainDay

한국어 요약by Claude · 2026. 8. 28.

최신 NL2SQL 모델들은 Spider·BIRD 같은 기존 벤치마크에서 89% 이상의 실행 정확도를 보이지만, 이 벤치마크들은 단순화된 학술용 스키마와 오픈소스 SQL 방언에 기반해 엔터프라이즈 데이터베이스의 복잡성을 반영하지 못한다. 연구진은 Oracle·PostgreSQL·MySQL·SQL Server에 동일 시드 데이터로 465개 테이블, 16만4682행을 채운 6개 스키마와 4개 지표(EM·EX·SR·SD) 평가 도구, 550개 정답 검증 질의쌍으로 구성된 ESQ-Bench를 공개했다. 스키마 연결 프롬프팅을 적용한 GPT-4o는 복잡도 단계가 올라갈수록 실행일치율이 79.8%→60.3%→57.2%로 단조 하락했고, 완전일치율은 전 단계에서 7% 미만에 머물렀으며 실행에 성공한 질의 중에서도 73~99%가 '조용한 의미 불일치'를 보였다. Claude Sonnet 4.6은 스키마 연결 프롬프팅으로 모든 단계에서 GPT-4o를 앞섰고(87.4/74.9/68.7%), 로컬 Llama 3.2는 전체 13.3%에 그쳐 폐쇄형 API 모델과 오픈웨이트 모델 간 격차를 드러냈다.

•Oracle 중심 6개 엔터프라이즈급 스키마·550개 정답 질의쌍으로 구성된 벤치마크 ESQ-Bench 공개
•GPT-4o 실행일치율이 복잡도 상승에 따라 79.8%→60.3%→57.2%로 단조 하락
•실행 성공 질의 중 73~99%가 '조용한 의미 불일치' 문제 보임
•Claude Sonnet 4.6이 모든 단계에서 GPT-4o를 앞서고 Llama 3.2는 13.3%에 그쳐 기술계-오픈웨이트 격차 드러냈

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 8월 26일AI 점수: 80%

ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence

출처:arXiv cs.AI

AI 인사이트

개발자투자자

1.엔터프라이즈 Oracle 스키마(465테이블·16만4682행) 기반 NL2SQL 벤치마크 ESQ-Bench 공개
2.GPT-4o 스키마연결 프롬프트는 난이도 상승 시 실행정확도 79.8%→60.3%→57.2%로 단조 하락, 정확매치(EM)는 전구간 7% 미만
3.실행은 성공했지만 결과 의미가 틀린 '조용한 divergence' 비율이 실행성공 쿼리 중 73~99%에 달함
4.Claude Sonnet 4.6가 전 티어서 GPT-4o 능가(87.4/74.9/68.7% EX), Llama 3.2는 최고 티어 13.3%

왜 중요한가?

실행 성공률만 보던 기존 NL2SQL 평가가 정답률을 부풀렸을 수 있음을 '조용한 의미오류' 지표로 드러내, 기업이 LLM 기반 NL2SQL을 프로덕션 DB에 도입할 때의 위험을 구체적 수치로 경고한다.

언급 프로젝트

ESQ-Bench GPT-4o Claude Sonnet 4.6 Llama 3.2

본문 미리보기

arXiv:2608.23569v1 Announce Type: new Abstract: State-of-the-art Natural Language to SQL (NL2SQL) models report execution accuracy exceeding 89 percent on established benchmarks such as Spider and BIRD. However, these benchmarks rely on simplified academic schemas and open-source SQL dialects that do not reflect the complexity of enterprise database environments. We introduce ESQ-Bench, an Oracle-first NL2SQL benchmark with systematic complexity tiers and silent-divergence evaluation across thr

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기