카카오가 오픈소스로 공개한 경량 언어모델 'Kanana-2' 시리즈의 안전성 평가 결과를 18일 공개했다. 한국 사회·문화적 맥락에 맞춘 벤치마크 'AssurAI'(35개 위험항목, 9560개 문항)로 측정한 결과 'Kanana-2-1.3B'와 'Kanana-2-3B' 모두 종합 점수 0.70을 기록해 구글 Gemma(0.68·0.66), 알리바바 Qwen(0.58·0.62)을 앞섰다. 1.3B 모델은 범죄·불법행위 영역에서, 3B 모델은 성적 콘텐츠·아동보호와 권리침해 영역에서 특히 우위를 보였다. 카카오는 이번 평가를 시작으로 멀티모달·에이전틱 AI까지 안전성 검증 범위를 단계적으로 확대할 계획이다.
- •Kanana-2-1.3B·3B 모두 안전성 종합점수 0.70, Gemma·Qwen 상회
- •평가 도구는 TTA·KAIST·카카오가 공동 구축한 'AssurAI' 벤치마크
- •LLM-as-a-Judge 방식으로 대규모 평가 시 편차 최소화
- •향후 멀티모달·에이전틱 AI 영역까지 안전성 평가 확대 예정
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
카카오 언어모델 '카카나-2', 안전성 평가서 해외 모델 앞서
- 1.카카오, 경량 언어모델 'Kanana-2' 두 모델의 안전성 평가 결과 공개...구글 Gemma·알리바바 Qwen 앞서
- 2.Kanana-2-1.3B·3B 모두 종합점수 0.70, Gemma(0.68/0.66)·Qwen(0.58/0.62) 상회
- 3.TTA·KAIST·카카오가 공동 구축한 한국형 안전성 벤치마크 'AssurAI'(9560문항) 활용
- 4.카카오, 향후 멀티모달·에이전틱 AI까지 사전 안전성 평가 확대 적용 계획
왜 중요한가?
오픈소스 경량 모델의 안전성을 자체 벤치마크로 수치화해 공개함으로써, 성능 경쟁을 넘어 안전성 검증을 모델 출시 프로세스의 핵심 단계로 삼으려는 국내 AI 기업의 시도를 보여준다.
본문 미리보기
[디지털투데이 석대건 기자] 카카오가 자체 개발한 경량 언어모델의 안전성을 수치로 검증해 공개했다. 카카오는 자체 구축한 'AI 안전성 평가 플랫폼'을 통해 오픈소스로 공개한 언어모델 'Kanana-2' 시리즈 두 모델의 유해성과 편향성 등 안전성 평가 결과를 18일 밝혔다. 두 모델 모두 비슷한 규모의 주요 글로벌 모델보다 높은 점수를 받아 최고 수준의 안전성을 확인했다고 전했다.앞서 카카오는 매개변수 규모를 줄인 경량언어모델(SLM)인 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'를 지난
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:23AI 초안
