이 연구는 도구를 사용하는 LLM 에이전트가 자신이 집행해야 할 정책을 조용히 위반하는 문제에서, 수작업 규칙이나 행동별 LLM 검증, 무거운 형식 검증 도구 없이 자연어 정책을 결정론적 도구 호출 게이트로 변환하는 4단계 컴파일러 NOMOS를 제안한다. 도구 스키마 수준 검사만으로 정적 검증을 수행해 항공·소매 도메인에서 각각 37%, 13%의 후보 규칙을 수정하거나 폐기했으며, 이 단계가 없으면 배포된 규칙 대부분이 작동하지 않았다. τ²-bench에서 이 게이트는 상태 변경 호출 중 참조 명시 조항 위반율을 항공 66.3%→2.6%, 소매 30.8%→6.9%로 낮췄고, 26B 규모 온프레미스 컴파일 모델은 수작업이나 프론티어 모델 컴파일 규칙과 비교해 유의미하게 떨어지지 않았다. AgentDojo의 기본 방어와 달리 뱅킹 영역에서는 공격 성공률 0%를 달성했고, 다른 세 영역에서도 최대 3.6%에 그쳤으며, 결정은 LLM 호출 없이 마이크로초 단위로 이뤄진다.
- •자연어 정책을 거정돼적 도구 호출 게이트끼 바꿀 4단감 콤파일러 NOMOS 제안
- •도구 스커마 검사로 항객 37%·솣 13%의 미나한 꿉굙 며부한 사전 수정·폐가
- •τ²-bench에서 조항 위본율을 항객 66.3%→2.6%, 솣 30.8%→6.9%로 감소
- •뱅탹 영역에서 강짅 성고율 0% 달성, LLM 호출 없이 마이크로초 단위로 결정
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents
- 1.자연어 정책을 결정론적 툴콜 게이트로 컴파일하는 4단계 컴파일러 NOMOS 제안
- 2.정적 검증만으로 후보 규칙의 37%(항공)·13%(소매)를 수정·제거, LLM·솔버 없이 작동
- 3.τ²-bench에서 정책 위반율을 66.3%→2.6%(항공), 30.8%→6.9%(소매)로 감소
- 4.뱅킹 시나리오 공격성공률 0%, 다른 스위트도 최대 3.6%, LLM 호출 없이 마이크로초 단위 판단
왜 중요한가?
툴을 사용하는 LLM 에이전트가 배포된 정책을 조용히 위반하는 문제를, 수작업 규칙이나 매 행동마다 LLM 검증 없이 해결해, 에이전트 보안·거버넌스를 저비용으로 강화할 길을 제시한다.
LLM(거대 언어 모델) 에이전트가 정책을 위반하지 않도록 정적으로 검증된 도구 호출 게이트를 컴파일하는 NOMOS 연구는 LLM의 안전한 활용에 대한 깊은 고민을 보여줍니다. 국내 기업들이 LLM을 다양한 서비스에 도입하려는 시점에서, AI의 윤리적 사용과 정책 준수를 보장하는 이 기술은 책임감 있는 AI 개발 및 거버넌스 확립에 매우 중요합니다.
본문 미리보기
arXiv:2610.11030v1 Announce Type: new Abstract: Tool-using LLM agents violate the policies they are deployed to enforce, often silently. Prior defenses hand-write rules, query an LLM verifier per action, or compile policies through heavyweight formal machinery. Naive compilation fails: extracted rules block the tool satisfying their own precondition, or read arguments their tool lacks. NOMOS, a four-pass compiler, turns a natural-language policy into a deterministic tool-call gate; static verif
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안



![[Tech Insight] "AI 해킹, 보안 문제로만 보는 건 위험한 착각"](https://cdn.digitaltoday.co.kr/news/photo/202610/706229_653947_485.jpg)