NVIDIA NeMo Speech：面向 ASR、TTS 与语音大模型的开源工具包

工具定位

NVIDIA NeMo Speech 面向从事语音模型研究的开发者和 PyTorch 用户，覆盖自动语音识别（ASR）、文本转语音（TTS）与 Speech LLM。其用途是借助现有代码和预训练检查点，创建、定制并部署新的语音 AI 模型。项目以 Apache 2.0 许可开源，README 标注状态为活跃开发、已具备稳定可用状态。仓库已转向专注音频、语音与多模态 LLM；此前支持更多模态的最终版本为 v2.7.3。

环境要求

• Python 3.12 或以上；PyTorch 2.7 或以上（CPU、CUDA 等由用户选择）。
• 训练需要 NVIDIA GPU 与 CUDA，推理推荐使用 GPU。
• 若已有满足最低要求的 Python/PyTorch/CUDA 环境，NeMo Speech 可在其上安装而不替换原有 PyTorch。
• uv.lock 与官方容器固定的是官方主动测试并支持的组合（Python 3.13，PyTorch 2.11 配 CUDA 12.9 或 PyTorch 2.12 配 CUDA 13.2），属于可复现的推荐配置，而非硬性要求。

README 提醒：自 PyTorch 2.6 起 torch.load 默认 weights_only=True，部分检查点可能需要 weights_only=False，此时可设置环境变量 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1；这只应对可信文件使用，因为加载非可信来源可能带来任意代码执行风险。

安装方式

1. uv 源码安装（推荐）：克隆仓库后执行 uv sync --extra all --extra cu13（CUDA 12.x 使用 --extra cu12）。该方式按 uv.lock 安装官方支持的栈到 .venv/，并以可编辑模式安装 NeMo Speech。Linux 上 cu12 与 cu13 互斥，只能选一个。可通过 --group test 增加测试套件、--group docs 构建文档。 2. Docker 容器：README 给出的最新预构建镜像标签为 26.07.00，也给出了从源码构建镜像的命令；默认目标为 CUDA 13 / H100+，A100 需设置 GPU_TARGET=a100，A100 同时兼容 CUDA 12 与 CUDA 13。 3. pip 回退（自带版本）：先自行安装 PyTorch（≥2.7），再执行 pip install 'nemo-toolkit[asr,tts]'，原有构建会被保留。若要拉取官方固定版本的 PyTorch，需加 CUDA extra 并指定对应 wheel 索引。README 明确警告：自带版本时不要用 uv sync --locked，否则会按 uv.lock 替换现有 Python/PyTorch/CUDA。

更新记录中的版本信息

README 列出了带日期的更新，例如 2026-07 MagpieTTS v2607 新增阿拉伯语、韩语、葡萄牙语支持；2026-06 Nemotron-3.5-ASR-Streaming-0.6B 支持 40 种语言、可调延迟 80ms–1s；2026-04 Parakeet-unified-en-0.6b 提供离线与流式（最低延迟 160ms）统一推理。这些日期仅表示各版本发布的时间点。