서비스나우 코어AI 연구팀이 엔터프라이즈 환경에서 AI 에이전트를 학습시키기 위한 합성 학습 데이터 생성 파이프라인 'AutoSynthData'를 공개했다. 이 시스템은 대상 모델이 실패하는 지점과 더 강한 교사 모델이 성공하는 방식을 비교해 어떤 능력을 보강해야 하는지 파악한 뒤, 실제로 수행 가능하고 현실적이며 아직 안정적으로 풀리지 않는 새 과제를 생성·검증한다. 생성된 과제는 양성·음성 검증과 비평·수정 루프를 거쳐 품질을 확보하고, 배치 단위로도 다양성과 커버리지를 점검한다. EnterpriseOps Gym 실험에서 Gemma-4-26B-A4B-it 모델을 대상으로 Hybrid 도메인에서는 평균 Pass@1을 7.2%포인트(35% 상대 개선) 끌어올려 검증 성공률을 63.01%에서 68.55%로 높였고, ITSM 도메인에서는 Pass@1을 18.77%에서 27.18%로 향상시켰다.
- •AutoSynthData는 대상 모델의 실패와 크론 모델의 성공을 대비해 부족한 능력을 탐장하고, 이를 개려봀 새 학습 가제를 생성·검증.
- •생성 개제는 수행 가능성·현실성·난이도 기준을 충족해야 하고, 양성·음성 검증과 비평·수정 루팩로 개려류 필퇰앵.
- •EnterpriseOps Gym Hybrid 도엄에서 Gemma 모델의 평걗 Pass@1을 7.2%포인턱(35% 상당 거통) 끄올리고 검증 성공륨을 63.01%→68.55%로 향상.
- •ITSM 도엄에서는 동샙 모델의 Pass@1을 18.77%에서 27.18%로 끄올리며 제2 도엄에서도 효과를 확인.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AutoSynthData: Generating Training Data for Enterprise Agents
- 1.ServiceNow CoreAI, 모델의 실패 패턴을 학습 데이터로 자동 전환하는 AutoSynthData 공개
- 2.Hybrid 도메인에서 Gemma-4-26B-A4B-it을 Qwen3.8-27B 교사로 샘플 2천개 생성
- 3.Hybrid에서 Pass@1을 7.2%p(상대 35%) 높여 63.01%→68.55%, 기준 모델과의 격차 59% 해소
- 4.ITSM 도메인도 DeepSeek-V4.1-Flash를 교사로 1994개 샘플 생성, Pass@1 18.77%→27.18%로 개선
왜 중요한가?
엔터프라이즈 환경 맞춤 에이전트 학습 데이터를 수작업 대신 모델의 실제 실패-교사의 성공 격차에서 자동 생성·검증하는 구체적 파이프라인으로, 기업용 에이전트 파인튜닝의 재현 가능한 실용 사례를 제공한다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:39AI 초안

