정부 '독자 AI 파운데이션 모델(독파모)' 2차 단계평가가 1차와 동일하게 벤치마크·전문가·이용자 평가로 구성되며, 이번엔 이용자 평가를 전문 이용자와 일반 국민 200명이 참여하는 방식으로 나눴다고 14일 관계부처가 밝혔다. 과기정통부는 LLM 자체 성능을 보는 전문 이용자 평가에서는 도구 호출을 제한하고, 전문가 평가에서는 자유롭게 허용해 에이전틱 역량을 구분해 살핀다. 참여 모델 4종의 실제 업무수행 벤치마크(GDPval-AA)에서는 모티프테크놀로지스 '모티프 3'가 39%로 가장 높았고 업스테이지 '솔라 오픈2' 31%, SK텔레콤 '에이닷엑스 K2' 30%, LG AI연구원 'K-엑사원 2.0' 24% 순이었다. 전문가들은 벤치마크 점수를 넘어 실제 업무 환경에서의 활용성 검증이 중요하다고 지적한다.

• •독파모 2차 평가, 이용자 평가를 전문 이용자·일반 국민 200명 참여 방식으로 분리
• •전문 이용자 평가는 도구 호출 제한(LLM 자체 성능), 전문가 평가는 도구 호출 자유 허용해 에이전튱 역량 구분
• •GDPval-AA 실무업 벤치마크: 모티프 39%, 솔라오픈2 31%, 에이닷엑스 K2 30%, K-액사원2.0 24%
• •전문가들은 벤치마크 성적 넘어 실제 업무 환경 실증 검증 필요성 강조