LLM과 검색·메모리를 결합해 재학습 없이 피드백으로 개선하는 "에이전틱 지속학습 하니스"는 사이버보안 분야에서 가치를 인정받고 있지만, 기존 평가 방식인 라벨링된 벤치마크는 실제 보안 운영 환경에서 라벨이 희소·낡음·비대표적이라 잘 작동하지 않는다. LLM 심판 방식도 평가 대상 에이전트보다 강하지 않아 신호가 약하고, 부족한 라벨에서의 증류도 신뢰하기 어렵다. 이 논문은 라벨링된 벤치마크 없이 스케일링 가설에 기반해 학습 하니스를 종단 간 평가하는 프레임워크를 제안한다. 더 강한 교사 모델이 지속학습 하니스를 갖춘 작은 학생 모델에게 드문드문 수정을 제공하고, 학생이 시간이 지나며 교사에 얼마나 수렴하는지로 하니스를 채점한다. 여러 보안 과제·모델군·하니스 설계에서 교사 대비 향상도가 held-out 골드 스탠다드 대비 향상도와 상관관계를 보여, 라벨이 없을 때 교사 상대적 향상을 실제 하니스 성능의 대리 지표로 검증했다.
- •라벨링 벤치마크 없이 지속학습 하니스를 종단 간 평가하는 스케일링 가설 기반 프레임워크 제안.
- •강력한 교사 모델이 학생 모델에 드물게 수정을 제공하고 수렴 정도로 하니스를 채점.
- •교사 대비 향상도가 held-out 골드스타더드 대비 향상도와 상관관계를 보임을 검증.
- •유사 수준 모델 간 LLM 심판은 유용한 신호를 제공하지 못함을 확인.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis
- 1.에이전트형 학습 하네스 평가
- 2.LLM 기반 지속 학습 시스템
- 3.사이버 보안 적용 가치 증명
왜 중요한가?
LLM과 검색/기억을 결합하여 재훈련 없이 피드백으로부터 학습하는 에이전트형 시스템은 사이버 보안 분야에서 가치가 높게 평가되고 있으며, 이 연구는 레이블 없이도 이러한 시스템의 학습 능력을 평가하는 새로운 방법을 제시합니다.
언급 프로젝트
한국의 사이버 보안 환경은 갈수록 복잡해지고 있어, LLM 기반의 지속 학습 에이전트 시스템은 매우 유망한 해결책이 될 수 있습니다. 이 연구는 레이블 없는 평가 방법을 제시하여 국내 기업들이 실제 운영 환경에서 에이전트의 성능 향상을 효과적으로 측정하고 배포하는 데 중요한 기반을 제공합니다. 이는 사이버 위협에 대한 방어 역량을 강화하는 데 기여할 것입니다.
본문 미리보기
arXiv:2608.13608v1 Announce Type: new Abstract: Agentic "Continual Learning Harnesses", systems that pair an LLM with retrieval or memory to improve from feedback without retraining, have shown growing value in cybersecurity. But their value is conventionally measured by gains against labeled benchmarks, an approach that often fails in operational security settings. Benchmark labels are scarce, stale, and unrepresentative, so a practitioner often cannot tell whether a given harness helps at all
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:21AI 초안

