Origin Is All You Need: Provenance-Aware Transformers for Structural Trust-Boundary Separation | AIChainDay

한국어 요약by Claude · 2026. 9. 23.

표준 트랜스포머는 출처(provenance)에 대한 구조적 개념이 없어, 검색된 문서·사용자 입력·시스템 지시가 동일한 어텐션 메커니즘으로 처리되면서 간접 프롬프트 주입(IPI) 공격에 취약하다. 연구팀은 각 입력 토큰에 출처를 나타내는 링 ID를 부여하고, 출처 임베딩·학습 가능한 출처 어텐션 편향·정규화 후에도 출처 정보를 보존하는 출처 스케일을 도입한 Provenance-Aware Transformers를 제안했다. 이 구조는 생성 과정에서 권한 있는 출처와 그렇지 않은 출처 사이에 구조적 경계를 강제하며, 기존 사전학습 모델에 적용하기 위한 2단계 파인튜닝 파이프라인도 함께 제시했다. 평가 결과 이 구조는 기본 사전학습 모델과 유사한 유용성을 유지하면서 분포 내외 모두에서 IPI에 견고한 저항성을 보였다. 프로비넌스를 1급 아키텍처 신호로 노출하는 것이 취약한 패턴 매칭 방식의 안전성 정렬을 명시적 신뢰 분리로 전환할 수 있음을 시사한다.

•표준 트랜스포머는 출처 구분 없이 모든 입력을 같은 어텐션으로 처리해 간접 프롬프트 주입에 취약하다
•각 토큰에 출처 링 ID를 부여하고 출처 임베딩·어텐션 편향·스케일을 도입해 구조적 경계를 강제한다
•기존 사전학습 모델에 적용 가능한 2단계 파인튜닝 파이프라인을 함께 제시했다
•분포 내외 모두에서 IPI 저항성이 높으면서도 기본 모델 수준의 유용성을 유지했다

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 21일AI 점수: 85%

Origin Is All You Need: Provenance-Aware Transformers for Structural Trust-Boundary Separation

출처:arXiv cs.CR (암호학·보안)

AI 인사이트

개발자

1.각 토큰에 출처(ring ID)를 부여해 권위 있는 입력과 그렇지 않은 입력을 구조적으로 분리하는 아키텍처 제안
2.출처 임베딩·학습형 출처 어텐션 바이어스·출처 스케일로 정규화 후에도 출처 정보를 보존하도록 설계
3.사전학습 모델에 2단계 파인튜닝을 적용해 기존 모델도 출처 개념과 과제 수행을 함께 학습
4.간접 프롬프트 인젝션에 분포 내·외 모두 강한 저항성을 보이며 기존 모델과 유사한 성능 유지

왜 중요한가?

표준 트랜스포머는 출처 구분 없이 모든 입력을 동일하게 처리해 프롬프트 인젝션에 취약한데, 이 연구는 출처를 아키텍처 차원의 신호로 만들어 패턴 매칭식 방어의 한계를 넘어서려 한다.

본문 미리보기

arXiv:2609.21088v1 Announce Type: new Abstract: Indirect prompt injection (IPI) remains a central safety and security challenge for large language model (LLM) systems because standard transformers lack architectural notion of source authority. Retrieved documents, user inputs, and system instructions are all processed through the same undifferentiated attention mechanism, forcing the model to infer from wording alone what should be obeyed and what should be treated as data. We propose Provenanc

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기