Whisper 通用语音识别模型说明

用途与设计

据项目 README，Whisper 是通用语音识别模型，在多语言、多类型音频数据上训练，可执行多语言语音识别、语音翻译与语种识别。其方法为 Transformer 序列到序列模型，将多语言识别、语音翻译、口语语种识别和语音活动检测等任务统一表示为待解码器预测的 token 序列，并以特殊 token 作为任务标识或分类目标，从而用单一模型替代传统语音流水线中的多个阶段。

模型与接口

文档列出 tiny、base、small、medium、large、turbo 六种规模，前四种含仅英文版本；表格给出参数量、所需显存及相对速度。turbo 被描述为 large-v3 的优化版本，速度更快、精度略有下降，且未针对翻译任务训练。命令行支持多文件转写、指定语言以及翻译到英文；Python 接口提供 load_model、transcribe，以及更底层的 load_audio、log_mel_spectrogram、detect_language、decode 等调用。安装依赖 Python 与 PyTorch，另需 ffmpeg，部分平台还需 Rust。

限制与待核实

README 说明性能随语言差异较大，速度数据来自 A100 上的英文转写，实际表现受语言、语速和硬件影响。翻译任务应使用多语言模型而非 turbo。代码与权重采用 MIT 许可。本摘要未进行安装或运行验证。