배포 후에도 메모리·도구·스킬을 계속 갱신하는 「자가진화 에이전트」의 안전 문제를 다룬 서베이로, 경험이 재사용 가능한 상태가 되면 과거 사건이 미래의 원인이 되어 무해했던 정보가 더 큰 권한과 범위로 영향을 미칠 수 있다는 점을 지적한다. 저자들은 재사용 가능한 영향을 찾는 Substrate, 변화를 포착하는 Adaptation, 위반을 식별하는 Violation, 실패 관찰 지점을 표시하는 Exposure, 대응을 평가하는 Response로 구성된 SAVER 프레임워크를 제시한다. 서베이 결과 기존 연구는 허용·검색·국소 봉쇄 단계에서는 근거를 쌓았지만, 적응 재개 이후의 후속 복구와 평가 연구는 크게 부족했다. 저자들은 안전하지 않은 영향의 발생 지점을 추적하고 지속적 진화 속에서 재발 여부까지 검증하는 장기 종단 평가가 필요하다고 주장한다.
- •자가진화 에이전트는 무해했던 정보도 적응 과정에서 권한·범위·지속성이 확대되며 안전 위험으로 변할 수 있음
- •탐지부터 대응까지 추적하는 5단계 SAVER 프레임워크(Substrate-Adaptation-Violation-Exposure-Response) 제안
- •기존 연구는 초기 허용·노출·국소 봉쇄 단계는 충실하나 적응 이후 후속 복구 연구는 크게 부족
- •안전하지 않은 영향의 발생 지점을 추적하고 재발 여부까지 검증하는 장기 종단 평가 체계를 제안
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Safety in Self-Evolving Agents: A Survey
- 1.모델·메모리·도구·스킬·워크플로를 지속 갱신하는 '자가진화 에이전트' 안전분석 틀 'SAVER' 제안
- 2.영향 재사용지점·변화양상·손상속성·노출시점·대응 5단계(Substrate~Response)로 구성
- 3.기존 연구는 유입·활성화·국소봉쇄은 근거 충분하나 '후손 복구'와 재발평가는 증거 부족 지적
왜 중요한가?
경험이 재사용 가능한 상태로 누적되는 에이전트는 '한때 무해했던 정보'가 나중에 더 큰 권한·지속성으로 작동할 수 있어, 정적 정렬 여부만으로는 안전을 보장할 수 없다는 새로운 위협 모델을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.00093v1 Announce Type: new Abstract: Large language models (LLMs) exhibit strong general capabilities, yet their parameters typically remain fixed after deployment, limiting learning from new interactions. In open-ended environments, this motivates self-evolving agents that continually update reusable state-including model parameters, memories, tool definitions, skills, and workflows-from data, feedback, and accumulated experience. This shift changes the safety problem: once experien
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
