CosyVoice：多语种语音生成全栈模型

CosyVoice 是阿里通义出品的多语种大语音生成模型，提供从推理、训练到部署的全栈能力，支持中文方言、多国语言与零样本声音克隆。

语音合成的难点，除了「像不像人」，还有「能不能覆盖中文方言、能不能跨语言、能不能只用几秒音频就克隆音色」。CosyVoice（现仓库 QwenAudio/CosyVoice，官网指向 cosyvoice3）把这几件事一起解决：支持普通话、粤语、四川话等中文方言，以及英语、日语、韩语等多语言；提供零样本语音克隆与自然语言控制的情感/风格合成。仓库以 Python 为主、Apache-2.0 许可，星标约 2.4 万（以 GitHub 为准）。注意仓库最近一次推送在 2026-05，接入前建议核对最新分支与版本。

信息卡

• 项目名称：CosyVoice（CosyVoice 3）
• 编程语言：Python
• 开源许可证：Apache-2.0
• GitHub 地址：https://github.com/QwenAudio/CosyVoice
• 官网或 Demo：https://funaudiollm.github.io/cosyvoice3

核心能力

多语种与中文方言。 覆盖普通话及多种中文方言（粤语、四川话、上海话等），并支持英语、日语、韩语等外语。这让同一套模型能服务方言配音、多语种内容本地化等场景，而不必为每种语言单独找工具。跨语言合成（用中文音色说英文）也有支持。

零样本声音克隆。 给一小段参考音频（几秒即可），无需微调训练就能克隆音色合成新内容。相比需要大量语料的老方案，门槛大幅降低。配套的身份保留能力让克隆音色在长文本里保持稳定，不跑偏。声音克隆须在被授权的前提下使用，未经许可克隆他人声音可能违法。

自然语言控制风格。 可以用自然语言指令控制合成的语气、情感、语速与口音，例如「用开心的语气说」「慢一点、带点疑问」。这让配音更贴合内容情绪，而不是千篇一律的平铺直叙。对短视频、有声书、角色对白很有用。

推理—训练—部署全栈。 项目不只给推理脚本，还提供训练与微调代码、模型权重和部署方案（含服务化与 Docker）。进阶用户可以用自己的数据微调专属模型。仓库含多个版本迭代，功能与模型以最新发布为准。

使用上手

1. 准备 Python 环境与（推荐）NVIDIA 显卡；按 README 安装依赖。
2. 下载官方模型权重（仓库与 Hugging Face / ModelScope 提供）。
3. 跑推理示例：输入文本，选择语言/方言与说话人，先生成试听。
4. 需要克隆时用一段干净参考音频；需要控制情绪时用自然语言指令。
5. 规模化用仓库提供的服务化脚本或 Docker 部署；微调训练按官方流程准备数据。

优点与不足

优势是方言与多语言覆盖突出、零样本克隆门槛低、风格控制自然、全栈能力完整、Apache-2.0 许可。局限：仓库最近推送在 2026-05，活跃度需留意；本地推理对显卡有要求；声音克隆的授权与伦理边界需自行遵守。星标与版本以 GitHub 为准。

适合谁

适合需要中文方言或多语种配音的内容团队；做有声书、短视频、角色配音、要求情绪表达的创作者；以及需要可训练、可私有部署的语音模型的研究者与开发者。

下载与访问

仓库 https://github.com/QwenAudio/CosyVoice （Apache-2.0）；官网/Demo https://funaudiollm.github.io/cosyvoice3 。

许可证与部署

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。