Venkat Peri의 글 — 수직형 AI 에이전트에서 intent classification은 'quality gate'가 아니며, 별도의 'input check' 레이어가 intent 라우팅 앞단에 필요하다는 주장. 실패 3개 시나리오: (1) 웨쓰 에이전트에 '스미스 가족에 애플 사줄까?' 입력 → 투자 조언 반환, FINRA 감사 실패; (2) 임상 에이전트에 '메트포르민 시작 용량?' → 환자 약물 리스트 모르고 답변; (3) SaaS 지원에 '이 상인 상대 고소' → 디플렉션. 해법: intent 앞에 200ms 작은 모델 + 도메인별 거부 rubric로 pass/fail 이진 판정, pass 쪽으로 강하게 편향. 'When in doubt, pass'를 명시. 거짓 양성(block legit query) 비용이 거짓 음성(bad answer 통과)보다 훨씬 크므로 1% 이하 false positive가 목표. Cohen's kappa 0.85, shadow mode + 점진 활성화 추천.
- •Intent classifier는 '어떤 skill 매치?'만 판단 — 'skill 응답 가능한 질문인가?' 아님.
- •도메인 정책 위반(투자 조언·임상 처방·법률 조언) + 보안 bypass + 범위 외 + 필러 4종이 에러 원인.
- •해법: 200ms 소형 모델 + 도메인별 거부 rubric로 binary pass/fail 선-게이팅.
- •'When in doubt, pass' 명시 + 예시 ambiguous도 pass로 해석 — 사용자 신뢰 우선.
- •false positive 1% 이하가 목표, Cohen's kappa 0.85, shadow mode → 점진 활성화 워크플로우.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Intent Classification isn’t a Quality Gate
- 1.Vertical AI 에이전트는 intent 앞에 'input check' 레이어가 필요.
- 2.Intent classifier는 '어떤 skill' 답만 하고 '응답 가능한가'는 모름.
- 3.200ms 소형 모델 + 도메인별 거부 rubric로 binary pass/fail.
- 4.'When in doubt, pass' 원칙 — false positive 1% 이하 목표.
- 5.Cohen's kappa 0.85 + shadow mode + 점진 배포가 검증 필수.
왜 중요한가?
한국 금융·의료·법률 등 규제 산업 AI 에이전트 개발팀에 실전 안전 레이어 가이드. 특히 FINRA 3110 같은 금융 규제는 'AI가 조언 제공했는지' 감사 대상이라 투자자문·뱅킹 챗봇의 법적 리스크를 기술적으로 차단하는 방법. 한국의 자본시장법·의료기기법 적용 AI 제품에도 동일 설계 원칙이 유효.
언급 프로젝트
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안

