From Instructions to Exploits: Applying Program Analysis to Malicious Agent Skills Across Natural Language and Code↗ (원문, 새 창)

연구진이 LLM 에이전트가 사용하는 서드파티 '스킬'의 자연어 지시문과 실행 코드를 함께 분석해 공급망 위험을 탐지하는 정적 분석 프레임워크 'SCS(Supply-Chain Scanner for Agent Skills)'를 제시했다. SCS는 자연어 지시문을 제한된 보안 API 집합을 가진 파이썬 유사 중간 표현으로 컴파일하고, 지시문과 코드의 프로그램 의존성 그래프를 결합한 교차 도메인 그래프(xPDG)를 구성한 뒤 신뢰-민감도-능력(TSC) 모델로 보안 속성을 전파해 위험을 탐지한다. 악성·정상 스킬 각 117개로 구성된 검증된 벤치마크에서 SCS는 평균 정확도 85.6%, 재현율 95.2%, F1 점수 86.9%로 비교 대상 중 가장 높은 성능을 기록했으며, 정밀도는 80.2%, 평균 토큰 소비량은 1370만 개였다. 자연어-중간표현 컴파일러는 400개의 사람이 주석을 단 지시문 단계에서 92.5~94.5%의 단계별 정확도를 보였다. 실제 클로허브(ClawHub) 스킬 6만 6157개를 분석한 결과 2473개가 위험 후보로 추출됐고, 보조 동적 검증과 수동 검토를 거쳐 627개가 악성으로 확인됐다.

• 자연어 지시문과 코리륩단륨을 거해 모델 'SCS' 제시, LLM 에이전트 스킷의 삼자관망 위횗 탐지
• 지시문을 보안 API 기반 중간표현으로 컴파일 후 코륩은 결합한 교차 도엔 게래픽(xPDG) 구성
• 악성·정상 234개 스킷 벤치마크에서 평균 정확도 85.6%, 재현율 95.2%, F1 86.9%로 최고 성능
• 400개 수작업 주석 지시문에서 자연어-중간표현 컴파일매터가 92.5~94.5% 도래필 정확도 륨성
• 실제 클로허브 스킷 6만 6157개 분석, 2473개 위횗 후보 중 627개를 악성으로 확인