LLM이 취약점 평가에 도입되며 환각된 취약점, 그럴듯하지만 틀린 패치, 재포장된 버그 리포트 같은 'AI 슬롭'이 쏟아져 인간 심사 과정에 서비스거부공격(DoS)에 준하는 부담을 준다고 지적하는 서베이 논문이다. 저자들은 AI 슬롭의 근본 원인을 보안 전문가의 인과적·연역적 추론과 LLM의 자기회귀적 확률 생성 사이의 간극으로 규정하고, 이를 측정하는 지표로 '연역적 커버리지 점수'를 제안한다. 사고연쇄(CoT) 프롬프팅과 도구 사용 에이전트는 이 간극을 줄이지만 완전히 없애지는 못한다는 점도 보였다. 워터마킹 등 기존 완화책은 정확성이 아닌 출처만 겨냥한다고 비판하며, 능동적 뉴로심볼릭 검증과 CVE-Bench, Slop-Score라는 두 평가 도구를 대안으로 제시한다.
- •'AI 슬롭': 환각된 취약점, 오류 패치, 재포장 버그 리포트가 인간 심사에 DoS급 부담 유발
- •근본 원인은 보안 전문가의 연역적 추론과 LLM 자기회귀 확률 생성 사이 간극
- •측정 지표로 '연역적 커버리지 점수(Deductive Coverage Score)' 제안
- •CoT 프롬프팅·도구 사용 에이전트는 간극을 줄이지만 완전 해소는 못함
- •대안으로 능동적 뉴로심볼릭 검증과 평가 도구 CVE-Bench·Slop-Score 제시
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation
- 1.LLM 기반 취약점 평가에서 환각된 취약점·부정확한 패치 등 'AI 슬롭' 문제를 체계적으로 분류
- 2.전문가의 연역적 추론과 LLM의 확률적 생성 간 격차를 측정하는 Deductive Coverage Score 제안
- 3.사고연쇄·도구사용 에이전트는 격차를 줄이지만 완전히 해소하지 못함을 확인
- 4.수학적 검증가능성 평가를 위한 CVE-Bench·Slop-Score 벤치마크 설계 제시
왜 중요한가?
AI가 만든 그럴듯하지만 틀린 취약점 보고가 보안 트리아지 인력의 업무 부담을 오히려 가중시키는 문제를 짚어, 신뢰 가능한 AI 보안 트리아지 평가 체계 마련의 방향을 제시한다.
언급 프로젝트
LLM을 활용한 취약점 분석에서 발생하는 'AI 슬롭' 현상, 즉 환각으로 인한 잘못된 취약점 보고는 사이버 보안 분야에서 신뢰 위기를 초래합니다. 국내 기업들이 AI 기반 보안 솔루션을 도입할 때, 이러한 추론 실패와 신뢰할 수 있는 완화 전략에 대한 이해는 필수적이며, 이는 실제 보안 위험 평가의 정확성을 높이고 불필요한 리소스 낭비를 줄이는 데 기여할 것입니다.
본문 미리보기
arXiv:2608.25667v1 Announce Type: new Abstract: The integration of Large Language Models (LLMs) into cybersecurity has transformed vulnerability assessment, but it has also produced a trustworthiness crisis driven by the unchecked proliferation of "AI slop." These artifacts, hallucinated vulnerabilities, plausible but incorrect patches, and semantically repackaged bug reports, impose a cognitive burden on human triage pipelines that mirrors a denial-of-service attack. This paper surveys the emp
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
