HASTE는 ML 엔지니어링 에이전트가 대회마다 콜드 스타트로 알려진 기법을 반복 발견하며 연산을 낭비하는 문제를, 대회 간 지식을 전역·도메인·대회별 세 범위 계층으로 조직하는 계층적 멀티에이전트 시스템으로 해결한다. 오케스트레이터가 도메인 전문가를 조율하고 LLM 기반 추상화로 계층 간 학습을 촉진한다. 159개 스킬을 8개 대회에 고정한 제거 실험에서 계층적 로딩은 메달률 100%를 달성한 반면 평면(flat) 로딩은 62.5%(스킬 미로딩과 동일)에 그치고 출력 토큰을 2배 소모했다. MLE-Bench Lite(22개 Kaggle 대회) 전체에서 Claude Sonnet 4.6, 대회당 12시간으로 메달률 77.3%를 기록했다. 웜스타트는 정제 반복을 52% 줄였고 채택률은 42%에서 스킬 50개 이상일 때 85%로 상승해, 지식 조직화가 모델 성능·연산 예산을 부분적으로 대체할 수 있음을 시사한다.
- •대회 간 지식을 전역·도메인·대회별 세 범위 계층으로 조직하고 각 계층을 에이전트 수준에 결합
- •159개 스킬 고정 실험에서 계층적 로딩 메달률 100% vs 평면 로딩 62.5%, 토큰 2배 소모
- •MLE-Bench Lite 22개 대회에서 Claude Sonnet 4.6로 메달률 77.3% 달성(단일 시드)
- •웸스타트는 정제 반복 52% 감소, 변경 채택률 42%→스킬 50개 이상시 85%로 상승, DL4C@ICML 2026 채택
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Why Solve It Twice? Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering
- 1.ML 엔지니어링 에이전트의 콜드스타트 낭비를 해소하는 계층형 지식 시스템 HASTE 제안
- 2.전역·도메인·대회별 3층 스킬 구조 — 계층 로딩 메달률 100% vs 평면 로딩 62.5%
- 3.MLE-Bench Lite 22개 Kaggle 대회에서 Claude Sonnet 4.6으로 메달률 77.3% 달성
- 4.움스타트 시 개선 반복 52% 감소, 스킬 50개 이상이면 변경 채택률 42%→85%
왜 중요한가?
지식 조직화가 모델 성능과 컴퓨트를 일부 대체할 수 있음을 통제 실험으로 입증했다. 같은 159개 스킬도 계층적으로 로딩해야 효과가 나고 평면 로딩은 스킬 없음과 동일한 성과에 토큰만 2배 쓴다는 결과는, 컨텍스트에 스킬을 쏟아붓는 현행 에이전트 설계에 직접적 교훈이다.
본문 미리보기
arXiv:2606.30911v1 Announce Type: new Abstract: ML engineering agents waste compute rediscovering known techniques because every competition is a cold start. We present HASTE, a hierarchical multi-agent system that organizes cross-competition knowledge into three scope tiers (global, domain, and competition-specific), each coupled to a matching agent level. An orchestrator coordinates domain specialists and promotes learning between tiers via LLM-driven abstraction. A controlled ablation provid
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
