프롬프트 모듈을 조합해 만든 에이전트 시스템에서 한 모듈을 수정하면 공유 변수나 실행 의존성이 없는데도 다른 모듈의 행동이 조용히 바뀌는 현상을 '조합적 행동 누출(CBL)'로 정식화한 연구다. 트랜스포머 셀프 어텐션이 같은 컨텍스트 창에 연결된 모듈 간 형식적 경계를 제공하지 않는다는 구조적 비격리가 원인이다. 실제 배포된 채용 평가 에이전트(Claude Sonnet 4.6, 144회 시행)에서 비초점 모듈을 분량·내용·형식 3채널로 교란한 결과, 내용 채널에서만 유의한 효과(Cohen's d=0.63)가 검출됐고 최종 추천이 뒤집히지는 않았다. 표준 QA로는 보이지 않지만 수천 건의 결정에 걸쳐 누적되는 임계 이하 간섭으로, 프롬프트 조합형 에이전트 평가에 모듈 간 간섭 측정이 필수임을 제기한다. ICML 2026 FAGEN 워크숍 채택 논문이다.
- •모듈 간 간섭을 '조합적 행동 누출(CBL)'로 최초 정식화, 셀프 어텐션의 비격리가 원인
- •배포된 채용 평가 에이전트(Claude Sonnet 4.6)에서 144회 시행으로 검증
- •분량·내용·형식 3채널 중 내용 채널만 유의한 효과(Cohen's d=0.63)
- •추천 번복은 없었으나 수천 건 결정에 누적되는 임계 이하 간섭 위험 지적
- •적대적 주입 등 기존 실패 축과 독립적인 새 실패 모드로 분류
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Instruction Bleed: Cross-Module Interference in Prompt-Composed Agentic Systems
- 1.프롬프트 모듈 하나를 수정하면 다른 모듈 동작이 바뀌는 '구성적 행동 누설(CBL)'을 정식화
- 2.트랜스포머 자기어텐션이 연결된 모듈 간 경계를 제공하지 않는 비격리가 원인
- 3.Claude Sonnet 4.6 채용평가 에이전트 144회 실험서 내용 채널만 유의효과(d=0.63)
- 4.추천 결과는 안 뒤집혔으나 표준 QA로 안 보이는 임계 이하 누적 효과 경고
왜 중요한가?
프롬프트 조합형 에이전트가 공유 변수 없이도 모듈 간 간섭을 일으킴을 실증해, 모듈 단위 평가만으로는 부족하며 교차 모듈 간섭 측정이 필수 평가 항목이 되어야 함을 제기한다.
언급 프로젝트
본문 미리보기
arXiv:2606.26356v1 Announce Type: new Abstract: Practitioners of prompt-composed agentic systems report a recurring failure mode: editing one prompt module silently shifts the behavior of others despite no shared variable or executable dependency. We formalize this as compositional behavioral leakage (CBL): interference between modules sharing a context window. CBL is enabled by architectural non-isolation: transformer self-attention provides no formal boundary between concatenated modules. We
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
