NVIDIA Magpie 多语言 TTS 扩展至 12 种语言

2026 年 8 月 10 日，NVIDIA 在 Hugging Face 博客发布了 Magpie TTS Multilingual 的更新说明。该模型是 364M 参数的开放权重语音合成模型，本次把语言覆盖扩展到 12 种：英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语，以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语。每种语言都提供男声和女声，并共享同一套多语言说话人表示。

本次更新还通过 IPA 字素到音素处理和自定义发音词典，扩展了印地语与日语的语码转换支持，便于处理人名、术语和混合语言内容。官方称多数已有语言的质量也有改进，法语和西班牙语提升最明显。

在架构上，Magpie 采用帧堆叠（每步解码两帧音频）和一个局部 Transformer 来建模同时生成的 codebook token 之间的依赖，以减少解码迭代并维持音质。该设计出自 ICASSP 2026 论文。

延迟方面，官方给出的数据是 NVIDIA NIM 容器在本地部署、三次试验平均下的结果：单流首字音频延迟（TTFA）在 B200 上为 32 ms、H100 为 47 ms、DGX Spark 为 53 ms、A100 为 79 ms；64 并发流时 B200 的 TTFA 为 239 ms、吞吐为实时的 319.81 倍。这些数字对应 NIM 服务栈，Hugging Face 上的开放权重检查点用于研究与微调。

模型权重采用 NVIDIA Open Model License 发布，可通过 NeMo 进行微调。官方还提供了结合 Nemotron Speech 与语言模型构建完整语音智能体的参考实现，涵盖打断式对话、工具调用和多语言交互等模式。