과기정통부가 27일 '독자 AI 파운데이션 모델'(독파모) 프로젝트 2차 단계평가 세부 점수를 공개했다. 모티프테크놀로지스는 25점 만점 AAII 글로벌 벤치마크에서 11.9점으로 다른 기업들을 크게 앞섰으나, 35점 만점 전문가 평가(27.1점)와 15점 만점 AI 전문 사용자 평가(8.4점), 10점 만점 일반국민 평가(5.7점)에서 모두 최하위를 기록해 종합 순위가 4위로 밀렸다. 종합 점수는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점 순이었다. 벤치마크 성능과 전문가·사용자 체감 평가 사이의 괴리가 두드러지며 모티프의 이의제기로 공개된 점수라는 점에서 평가 기준을 둘러싼 논란이 이어질 전망이다.
- •종합 점수: SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점 순으로 모티프 4위
- •모티프, AAII 글로벌 벤치마크(25점 만점)에서 11.9점으로 1위지만 전문가·사용자 평가에서는 모두 최하위
- •전문가 평가(35점 만점)는 LG AI연구원 29.5점 1위, 모티프 27.1점으로 최하위
- •공개는 모티프의 이의제기와 다른 참여기업의 동의에 따른 조치
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
독파모 평가 성적 전체 공개..."전문가·사용자 평가서 희비 갈려"
- 1.과기정통부, 독파모 2차 단계평가 세부점수 전면공개, 모티프 요청으로 성사
- 2.글로벌 벤치마크(AAII)는 모티프 11.9점 1위, 전문가·사용자 평가에서는 최하위로 급락
- 3.종합점수는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점 순
- 4.NIA 벤치마크는 SKT 13.4점 1위, 벤치마크와 정성평가 간 순위 엇갈려
왜 중요한가?
정량 벤치마크와 전문가·사용자 정성평가 결과가 기업별로 상반되게 나타나면서, 국내 독자 AI 모델 평가 기준의 신뢰성과 방법론에 대한 논쟁이 이어질 가능성이 크다.
본문 미리보기
과학기술정보통신부는 27일 '독자 AI 파운데이션 모델'(독파모) 프로젝트 2차 단계평가의 세부 점수를 공개했다. 모티프테크놀로지스가 입장문을 통해 공개를 요청했고, 다른 참여 기업들도 동의한 데에 따른 조치다.2차 단계평가는 벤치마크 평가(AAII·NIA), 전문가 평가, 사용자 평가(AI 전문 사용자·일반국민)로 진행됐다.공개된 내용에 따르면, 모티프는 AAII 글로벌 벤치마크 평가에서 다른 기업들을 크게 앞섰으나, 전문가 평가와 사용자 평가에서는 점수가 크게 깎이면서 종합 순위에서 하위권으로 밀려난 것으로 드러났다.아티피셜 애
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[Tech Insight] "에이전틱 AI 시대, ERP·CRM 같은 기록 시스템 혁신할 기회"](https://cdn.digitaltoday.co.kr/news/photo/202610/706167_653890_178.jpg)
![[시큐리티핫이슈] 잇단 AI 해킹 속 '오펜시브 보안' 뜬다](https://cdn.digitaltoday.co.kr/news/photo/202610/706146_653868_1226.jpg)