0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Qwen3.8 27B addition in words
출처:Simon Willison's Blog
AI 인사이트
개발자
- 1.Qwen3.8-27B를 추론 비활성화 상태로 돌리자 덧셈 결과를 말로 쓰는 정확도가 23.57%에 불과
- 2.자릿수가 1~3자리일 때 97.04%였던 정확도가 10~13자리에서는 6.44%로 급락
- 3.추론 모드를 켜면 169회 중 167회를 맞혀 정확도가 크게 개선됨을 확인
- 4.형식은 96.17% 지켰지만 숫자 자체는 틀리는, 포맷 준수와 정확도의 괴리를 보여줌
왜 중요한가?
GPT-4o로 2년 전 진행된 실험을 로컬 모델로 재현해, 추론(reasoning) 모드 켜고 끄기에 따라 산술 정확도가 얼마나 달라지는지 수치로 보여주는 재현 가능한 벤치마크다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
공유:
#LLM벤치마크#산술능력#추론모델#로컬LLM
이 글이 만들어진 과정
- 10:46AI 초안
