텐센트가 음성 생성과 편집을 하나의 모델로 통합한 오픈소스 AI 'AuK'를 공개하며 '오디오용 나노바나나'라는 별칭을 내세웠다. 자연어 지시와 참조 오디오만으로 제로샷 TTS, 음색·감정·억양 수정, 부분 콘텐츠 편집, 잡음 제거, 화자 분리 등을 처리할 수 있다. 30억3000만 개의 지시어-오디오 데이터와 195만 시간 분량의 오디오로 학습했으며, RLHF와 강화학습을 적용해 자연스러움과 정확성을 높였다. 추론을 4단계로 줄여 기존 대비 약 4.5배 빠른 경량 모델 'AuK-플래시'도 함께 허깅페이스에 공개됐다.
- •텐센트, 음성 생성·편집 통합 오픈소스 모델 'AuK' 공개, '오디오용 나노바나나'로 소개
- •자연어 지시만으로 제로샷 TTS, 음색·감정·억양 수정, 부분 콘텐츠 편집 등 지원
- •30억3000만 개 지시어-오디오 데이터와 195만 시간 오디오로 학습, RLHF·강화학습 적용
- •추론 4단계로 단축해 약 4.5배 빠른 경량 모델 'AuK-플래시'도 동시 공개
- •모델 가중치·소스코드·데모를 허깅페이스에 오픈소스로 전면 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
텐센트, 음성 생성·편집 모델 'AuK' 공개..."오디오용 나노바나나"
- 1.텐센트, 음성 생성과 편집을 하나로 통합한 오픈소스 모델 'AuK' 공개…'오디오용 나노바나나' 별칭
- 2.제로샷 TTS와 자연어 지시 기반 음성 생성, 내용·음색·감정·억양 수정까지 단일 모델에서 처리
- 3.지시어-오디오 데이터 30억3000만개와 오디오 195만 시간 학습, MLLM·VAE·트랜스포머 결합 구조
- 4.경량화 버전 'AuK-플래시'는 추론 4단계로 줄여 전체 모델 대비 약 4.5배 빠른 속도 구현
왜 중요한가?
음성 생성과 편집에 각각 다른 도구를 써야 했던 워크플로를 하나의 모델과 자연어 지시로 통합하고 오픈소스로 공개해, 오디오 콘텐츠 제작 도구 개발자들이 곧바로 활용할 수 있는 기반 모델을 제시한다.
본문 미리보기
텐센트가 텍스트를 음성으로 변환하는 것은 물론 기존 음성의 내용과 음색, 감정, 억양 등을 자연어 지시만으로 수정할 수 있는 오픈소스 AI 모델을 공개했다. 하나의 모델에서 음성 생성과 편집을 통합적으로 처리한다는 점을 강조하며 ‘오디오용 나노바나나(Nano Banana for Audio)’라는 별칭을 내세웠다.텐센트는 10일(현지시간) 음성 생성 및 편집을 통합한 AI 파운데이션 모델 ‘AuK’를 공개했다.자연어 지시어와 참조 오디오를 하나의 인터페이스에서 처리하는 통합 모델이다. 기존에는 음성 생성과 음성 편집, 음질 개선 등에
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

