LLM 코딩 에이전트가 생성하는 프로그램의 규모가 커지면서 철저한 사람 검토가 어려워져 안전·보안 실패 위험이 커지고 있다. 퍼징 테스트, 정적 분석, LLM 검증기 같은 기존 방법은 많은 결함을 잡아내지만 모든 경계 사례를 다루지는 못하며, 형식 검증은 기계적으로 검증 가능한 보장을 제공하지만 전통적으로 상당한 수작업 명세와 증명 작업이 필요했다. 이 논문은 검증 인식 중간 표현으로 Dafny를 활용해 형식적 안전 보장이 딸린 실행 가능한 프로그램을 생성하는 통합 다중 에이전트 프레임워크 'MAGS'를 제안한다. MAGS는 사람이 검토한 API와 안전 요구사항을 고정한 뒤 생성된 코드를 Dafny로 변환하고, 검증기 피드백으로 위반 사항을 수정한 다음 검증된 프로그램을 다시 실행 가능한 코드로 컴파일한다. CUDA 커널 100개, 터미널 스크립트 100개, 로봇팔 작업 20개 등 총 220개 사례에서 고정된 명세에 대해 사소하지 않은 안전 보장을 갖춘 프로그램 생성에 100% 성공률을 달성했으나, 자동 형식화된 의미가 목표 동작을 완전히 포착하지 못할 때는 실패 사례도 드러났다.
- •LLM 코딩 에이전트의 대규모 코드 생성에 따른 안전·보안 검토 한계를 해결하기 위해 형식 검증 기반 다중 에이전트 프레임워크 'MAGS' 제안
- •Dafny를 검증 인식 중간 표현으로 사용, 사람 검토 API·안전요구사항 고정→코드 변환→검증기 피드백 수정→재컴파일 파이프라인
- •CUDA 커널 100개, 터미널 스크립트 100개, 로봇팔 작업 20개 총 220개 사례에서 안전 보장 프로그램 생성 100% 성공률
- •독립 평가에서 세 영역 모두 강한 성능, 단 자동 형식화가 목표 동작을 완전히 못 담을 때는 실패 사례 발견
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs
- 1.코딩 에이전트 생성 코드에 형식검증 기반 안전보장 부여하는 멀티에이전트 'MAGS' 제안
- 2.사람 감사한 API·안전요구사항 고정 후 Dafny로 번역해 기계적 검증, 위반 시 수정
- 3.CUDA커널 100개·터미널스크립트 100개·로봇팔 작업 20개, 총 220개서 100% 안전보장 성공
- 4.독립 안전성·기능성 평가서도 강한 성능, 단 자동 형식화가 목표 의미 완전히 못 담는 실패도 일부 확인
왜 중요한가?
대규모 생성 코드에 대한 사람 검토가 한계에 부딪힌 상황에서, 퍼징·정적분석을 넘어 기계로 검증 가능한 안전보장을 자동 부여하는 접근은 CUDA·로보틱스처럼 안전이 중요한 코드 생성에 실질적 신뢰기반을 제공한다.
본문 미리보기
arXiv:2609.19391v1 Announce Type: new Abstract: LLM coding agents now generate complex programs at a scale that makes thorough human review increasingly difficult, raising the risk of safety and security failures. Common approaches, including fuzz testing, static analysis, and LLM-as-a-Verifier, can detect many failures but struggle to cover all possible edge cases. Formal verification addresses this by providing machine-checkable guarantees over specified properties, but traditionally demands
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

