명세 완전성 감사는 작성된 계약은 만족하지만 의도된 동작은 어기는 프로그램을 찾아내려 하지만, 정답 여부에 대한 교정 피드백은 바로 그 증거를 지워버린다는 역설이 있다. 연구팀은 4개 모델군, 12개 Verus/Rust 과제에서 이를 입증했는데, 피드백 없는 독립 탐색이 IntentShield의 교정 피드백 루프보다 인증된 반증 수율을 두 배 이상(59.0% 대 27.1%) 높였다. 형식을 맞춘 반복 대조군을 통해 이 차이가 독립 재시작이 아니라 피드백 내용 자체에서 비롯됨을 보였고, 모든 모델군에서 일관되게 나타났으며 파서 복구 후에도 유지됐다. 위상 분리 실행으로 응답 재사용 없이 같은 수율을 재현했고, 이렇게 보존된 반증을 활용하면 명세 복구 성공률이 81.3%(위상 복구)로 IntentShield 복구(62.5%)보다 훨씬 높아졌다(Dafny·Lean에서는 재현되지 않음).
- •'정답 피드백'이 계약은 만족하지만 의도는 어기는 반증 프로그램을 발견하는 능력을 오히려 억제함을 실증
- •피드백 없는 독립 탐색이 IntentShield 교정 루프 대비 인증 반증 수율 2배 이상(59.0% 대 27.1%)
- •위상 분리(완전성 감사 먼저, 교정 나중) 전략이 명세 복구 성공률을 81.3%까지 끌어올림
- •효과는 Verus/Rust에서만 확인, Dafny·Lean 평가에서는 재현되지 않아 경계가 뚜렷함
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
When Correctness Feedback Erases Evidence: Phase-Separated Completeness Auditing in Verus
- 1.정답 피드백 루프가 명세는 지키지만 의도된 동작은 위반하는 코드 발견을 방해한다는 '목적 역전' 현상 입증
- 2.Verus/Rust 12과제·4모델군서 독립탐색이 IntentShield 교정루프보다 인증반례 수율 2배(59.0% vs 27.1%)
- 3.형식 맞춘 반복 제어 실험으로 격차가 피드백 내용 자체에서 발생함을 확인, 모든 모델군서 일관됨
- 4.보존된 반례 활용 시 명세 보완 성능도 개선(81.3% vs 62.5%), 단 Dafny·Lean에서는 재현되지 않음
왜 중요한가?
형식검증에서 '정답을 알려주는' 피드백이 오히려 숨은 결함을 가리는 역효과를 낼 수 있음을 실증해, 명세 완전성 검증과 오류 수정을 같은 루프에서 동시에 추구하면 안 된다는 설계 원칙을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.20676v1 Announce Type: new Abstract: Correctness feedback suppresses the very evidence that specification-completeness auditing is designed to uncover: programs that satisfy a written contract but violate intended behavior. We demonstrate this objective reversal on 12 Verus/Rust tasks across four model families under matched call budgets. Independent no-feedback discovery more than doubles certified-witness yield relative to IntentShield's corrective-feedback loop (59.0% versus 27.1%
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안