BOHM은 복합 AI 시스템의 계층적 기여도를 라우팅 가중치에서 직접 추출하는 제로비용 귀속 방법이다. 18개 LLM으로 구성된 3단계 계층 구조에서 880개 LiveCodeBench 문제에 대해 Kendall tau=0.928을 달성했으며, SHAP의 tau=0.980보다 낮지만 9,000배 적은 연산으로 이를 달성했다. 475개 리프 노드의 US Census 계층에서도 각 레벨의 순위를 정확하게 복원(tau 최대 0.722)했다. 서드파티 API나 불투명 엔드포인트처럼 SHAP이 적용 불가한 환경에서도 라우팅 상태만 있으면 계산 가능한 보완적 기여도 분석 기법으로, SHAP과의 불일치 자체가 시스템 진단 신호가 된다.
- •BOHM은 루트에서 리프까지 경로 가중치의 곱으로 리프 기여도를 계산해 추가 연산 없이 다해상도 기여도 분석을 제공한다
- •18개 LLM 3단계 계층에서 880개 LiveCodeBench 문제에 Kendall tau=0.928 달성 — SHAP보다 9,000배 효율적
- •에이전트 연구에서 드라이버 상위 선택 비율 중앙값 0.65로 특정 도구 집중 라우팅 현상 확인, BOHM-SHAP 불일치가 진단 신호로 기능
- •SHAP 불가 환경(서드파티 API·불투명 엔드포인트·에이전트 오케스트레이터)에서 라우팅 상태만으로 적용 가능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
BOHM: Zero-Cost Hierarchical Attribution for Compound AI Systems
- 1.BOHM은 복합 AI 시스템의 라우팅 가중치에서 계층적 어트리뺄션 트리를 직접 추출하는 제로 비용 방법
- 2.BOHM tau=0.928, SHAP은 9,000배 더 많은 연합 평가로 tau=0.980 달성(LiveCodeBench 880문제)
- 3.BOHM-SHAP 불일치 자체가 라우터의 최적 도구 선택 여부를 진단하는 신호, 다중 해상도 어트리뺄션을 동시 제공
왜 중요한가?
서드파티 API·불투명 엔드포인트에서 SHAP의 연합 평가 불가 문제를 해결, 추가 비용 없이 다중 해상도 어트리뷰션을 제공해 복합 AI 시스템 디버깅에 즉시 활용 가능하다.
언급 프로젝트
본문 미리보기
arXiv:2605.22866v1 Announce Type: new Abstract: Compound AI systems route tasks through hierarchies of specialised components. Attribution is dominated by Shapley-based methods (SHAP), which decompose a coalition value function into per-component marginal contributions and require evaluation of the system on arbitrary component subsets. That requirement fails for third-party APIs, opaque endpoints, and agentic orchestrators that concentrate routing on a few tools, leaving most coalitions un-eva
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
