이 논문은 자율 에이전트가 자금 이체나 영구 저장소 기록처럼 되돌릴 수 없는 부작용을 일으키는 상황에서, 기존 에이전트 프레임워크(ReAct, Reflexion, MCP)가 안전성보다 작업 성공률에만 초점을 맞춘다는 문제를 지적한다. 저자는 공개 원장(퍼블릭 레저)상의 가치 이동을 지갑·체인·주소·프로토콜 4차원 공간의 상태 전이로 형식화하고, '실행 충실성(execution fidelity)'이라는 보증을 정의·증명한다. 이는 플래너 오류, 모호한 결과, 재시도, 최소 1회 전달, 비인간 위임 호출자 등을 포함한 결함 모델에서도 실제로 원장에 반영되는 효과가 아예 없거나 사용자에게 보여준 전이와 정확히 일치하는 단 한 번의 결과뿐임을 보장하는 것이다. 이 보증에서 도출된 7가지 안전 불변식을 60건의 적대적 테스트에 적용한 결과, 쓰기에 취약한 두 모델에서는 순진한 ReAct 대비 통과율이 약 74%p 상승했지만 신중한 모델에서는 3%p 상승에 그쳐, 단일 모델 평가만으로는 안전성 검증이 사실상 무의미할 수 있음을 보여준다. 이 시스템은 8개 체인에서 108건의 실제 쓰기 작업에 적용되며 실증되었고, 형식화 자체는 원장을 넘어 되돌릴 수 없는 외부 상태를 다루는 모든 확률적 에이전트에 적용 가능하다.
- •지갑·체인·주소·프로토콜 4차원 상태 전이로 공개 원장상 가치 이동을 형식화
- •'실행 충실성' 보증: 결과가 아예 없거나 사용자에게 보여준 전이와 정확히 일치하는 단 1회뿐임을 증명
- •7가지 안전 불변식 도출, 60건 적대적 테스트서 쓰기 취약 모델은 통과율 +74%p, 신중한 모델은 +3%p
- •단일 모델만으로한 에이전트 안전 스택 평가는 거의 반증 불가능함을 시사
- •8개 체인 108건 실제 쓰기 작업에 배포, 원장 외 비가역 상태 다루는 에이전트에 일반화 가능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Safety Invariants for Agents Orchestrating Irreversible State Transitions: A Four-Dimensional Formalism Evaluated on Public Ledgers
- 1.온체인 자금 이동을 지갑·체인·주소·프로토콜 4차원 상태 전이로 형식화해 '실행 충실성' 보장을 증명
- 2.장애 모델 하에서 세션의 실제 원장 효과는 '무효과' 또는 '사용자에게 표시된 전이 정확히 1회'로 한정
- 3.N=60 적대적 테스트에서 쓰기 공격적 모델 기준 naive-ReAct 대비 통과율 약 74%p 향상
- 4.8개 체인, 108건의 프로덕션 쓰기 작업으로 실패 분류 체계를 검증, 실제 배포 중
왜 중요한가?
ReAct 등 기존 에이전트 프레임워크가 벤치마크 성공률에 집중하는 사이, 되돌릴 수 없는 온체인 쓰기 작업의 안전을 수학적으로 보장하려는 시도다. 모델별 효과 격차(74%p vs 3%p)를 근거로 단일 모델 평가로는 에이전트 안전 스택 검증이 사실상 불가능하다는 점도 보여줘 평가 방법론에 시사점이 크다.
본문 미리보기
arXiv:2608.00783v1 Announce Type: new Abstract: Autonomous agents are increasingly asked to produce irreversible effects on external systems - transferring funds, writing to durable storage, actuating hardware. Existing agent frameworks (ReAct, Reflexion, MCP) optimize task success on benchmarks and give little attention to the safety of irreversible side-effects. We formalize one such setting, movement of value across public ledgers, as state transitions in a four-dimensional space indexed by
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:35AI 초안



