펜실베이니아주립대 연구진에 따르면 AI가 긴 대화를 요약해 맥락 공간을 확보하는 '압축(compaction)' 과정에서 사용자가 설정한 세션 제약(예: "변경 전 반드시 확인해줘")이 평균 17%만 살아남는 것으로 나타났다. 연구진이 개발한 평가 도구 'COMPINT'로 측정한 결과, 압축 전에는 규칙 준수율이 59~71%였지만 압축 후에는 대부분의 압축기에서 이보다 크게 떨어져 제약을 아예 주지 않은 경우와 비슷한 수준까지 낮아졌으며, 제약 보존을 겨냥한 맞춤형 프롬프트를 써도 보존율은 40% 미만에 그쳤다. 해결책으로 제시된 소형 보조 모듈(Qwen3.5-9B 기반)은 사용자 입력마다 세션 제약을 탐지해 별도 목록으로 유지한 뒤 요약에 덧붙이는 방식으로, 별도 학습 없이도 시나리오별 90% 이상의 보존율을 달성했다.
- •압축(compaction) 후 사용자의 세션 제약 준수율이 평균 17%로 급락
- •COMPINT 평가: 압축 전 규칙 준수율 59~71% → 압축 후 대부분 압축기에서 제약 없는 경우 수준으로 하락
- •제약 보존 맞춤형 프롬프트를 쓰어도 보존율은 40% 미만
- •Qwen3.5-9B 기반 소형 보조 모듈이 시나리오별 90~95.6% 보존율 달성, 별도 학습 불필요
- •GitHub에 COMPINT 평가 도구와 추출 모듈 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AI systems quietly drop user instructions when they compress context

- 1.AI가 대화 맥락을 압축(compaction)할 때 사용자 지시사항의 평균 83%가 소실된다는 Penn State 연구 결과
- 2.COMPINT 평가체계로 측정, 압축 시 규칙 준수율이 59~71%에서 무압축 대비 큰 폭 하락
- 3.맞춤형 압축 프롬프트로도 유지율 40% 미만에 그쳐 근본 해결 안 돼
- 4.Qwen3.5-9B 기반 소형 보조 모델을 추가하면 유지율 90% 이상으로 회복
왜 중요한가?
긴 대화를 압축해 쓰는 에이전트형 서비스에서 "승인 없이 이메일 보내지 마" 같은 세션 규칙이 조용히 사라지면 보안·신뢰성 사고로 이어질 수 있어, 압축 파이프라인을 쓰는 모든 AI 제품에 실질적 위험 신호다.
AI 시스템이 컨텍스트를 압축할 때 사용자 지침의 상당 부분을 누락한다는 연구 결과는 국내 AI 서비스 개발사들에게도 보안 및 신뢰성 측면에서 중요한 시사점을 제공합니다. 펜실베이니아 주립대 연구진이 제안한 해결책처럼, 국내 개발자들도 사용자 규칙을 유지하면서 효율성을 높이는 기술적 보완책을 마련해야 할 것입니다. 특히 사용자의 승인 없이 이메일을 발송하는 등의 오작동을 방지하기 위한 기술적 검토가 요구됩니다.
본문 미리보기
When AI systems condense long conversations, they drop an average of 83 percent of user rules, like "don't send emails without my approval." Penn State researchers propose a small add-on module built on Qwen3.5-9B that preserves over 90 percent of these restrictions. The article AI systems quietly drop user instructions when they compress context appeared first on The Decoder.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:07AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
