CosyVoice 语音合成模型

能做什么

• 多语言与方言合成：Fun-CosyVoice 3.0 覆盖中文、英文、日文、韩文、德文、西班牙文、法文、意大利文、俄文等 9 种常见语言，以及广东、闽南、四川、东北、陕西、山西、上海、天津、山东、宁夏、甘肃等 18 种以上中文方言/口音。
• 零样本语音克隆：支持多语种与跨语种的零样本声音克隆。
• 可控合成：支持中文拼音与英文 CMU 音素的发音修补（pronunciation inpainting），并支持语言、方言、情感、语速、音量等指令控制。
• 文本规范化：无需传统前端模块即可读取数字、特殊符号和多种文本格式。
• 流式合成：同时支持文本输入流式与音频输出流式，项目说明称延迟可低至 150ms。

适用场景

• 需要多语言或多方言语音合成的应用；
• 需要基于少量参考音频做声音克隆的创作与研究场景；
• 需要流式低延迟语音输出的交互式系统；
• 需要对发音、语速、情感等进行精细控制的语音生产流程。

使用条件与限制

• 项目以开源代码与预训练模型形式提供，需自行克隆仓库、创建 Conda 环境（Python 3.10）并下载模型权重。
• 可选安装 ttsfrd 资源以提升文本规范化效果，未安装时默认使用 wetext。
• 支持 vLLM 加速推理，但项目说明对 vLLM 版本有明确要求（0.11.x+ 或 0.9.0），中间版本未测试。
• 可通过 Docker 构建 gRPC 或 FastAPI 服务进行部署，也提供 Triton + TensorRT-LLM 运行时。
• 项目声明内容仅供学术用途，用于展示技术能力。
• 具体性能、硬件需求与部署成本需以项目文档和实际环境为准，此处不作推断。