프린스턴대·UC샌디에이고 등 연구진이 8135건의 테스트를 통해 AI 에이전트에 '스킬'을 제공했을 때 성능이 향상되는 이유를 분석한 결과, 개선 효과의 65.7%는 지식 제공이 아니라 신뢰할 수 있는 절차를 따르게 하는 '절차적 그라운딩'에서 비롯됐다. 지식을 직접 제공해 도움이 된 경우는 4.5%에 불과했다. 반면 스킬을 기계적으로 잘못 적용해 오류가 발생한 경우도 10%에 달했으며, 스킬 라이브러리가 5개에서 100개로 늘어나면 실제 검색 정확도는 29.6%에서 3.3%로 급락했다. 연구진은 더 나은 자기학습 에이전트를 위해서는 경험을 많이 저장하기보다 스킬을 생성·검색·적용하는 신뢰할 수 있는 방식이 필요하다고 제언했다.

• •스킷의 성능 향상 효과 65.7%는 절차적 안내 덕분, 지식 제공 기여는 4.5%뿐
• •스킷을 기계적으로 잘못 적용해 오히려 오류 발생한 경우 10%
• •스킷 라이브러리 5→100개로 확대 시 검색 정확도 29.6%→3.3%로 급락
• •연구진, 경험 저장량보다 스킷 생성·검색·적용의 신뢰성이 핵심이라 제언