提交智能体收藏0
开发文档

Qwen3 项目说明:Qwen3-2507 更新与本地部署要点

Qwen3 仓库介绍了 Qwen3-2507 系列(Instruct 与 Thinking 两种变体,235B-A22B、30B-A3B、4B 三种规模)的能力改进、上下文长度支持,以及 Transformers、llama.cpp、Ollama、vLLM、SGLang 等运行与部署方式。

用途与范围

该仓库是 Qwen3 系列模型的官方说明文档,涵盖模型介绍、性能说明、本地运行、服务化部署、工具调用与微调入口。文档同时保留了此前 Qwen3(即 Qwen3-2504)的发布信息作为历史记录。

Qwen3-2507 的主要变化

据来源说明,Qwen3-2507 分为 Qwen3-Instruct-2507 与 Qwen3-Thinking-2507 两类,规模为 235B-A22B、30B-A3B、4B。Instruct 版本定位为非思考模式,来源称其在指令遵循、逻辑推理、文本理解、数学、科学、编程与工具使用等方面有所改进,并增强多语言长尾知识覆盖和主观开放任务的对齐;Thinking 版本延续思考模式,来源称其推理质量与深度提升,在需要人类专业知识的推理与学术基准上取得开放权重思考模型中的较好结果。两类版本均提及 256K token 长上下文理解,可扩展至 100 万 token。

运行与部署

文档给出多类运行路径:Transformers 建议使用较新版本(来源称需要 transformers>=4.51.0);llama.cpp 建议 b5401 及以上;Ollama 建议 v0.9.0 及以上,并提醒其命名可能与官方命名不一致;还列出 LMStudio、ExecuTorch、MNN、MLX LM、OpenVINO 等端侧或本地选项。服务化部署方面介绍了 SGLang、vLLM 与 TensorRT-LLM,均提供 OpenAI 兼容接口的启动方式。

限制与待核实事项

上述能力描述来自仓库文档,未在本条目中进行独立运行验证。文档中的 Thinking/Instruct 模式差异、上下文长度扩展方式需以对应模型卡为准。SGLang 与 vLLM 部分提到,因请求预处理会丢弃 reasoning_content 字段,思考模型在多步工具使用时质量可能受影响,建议按原文传递内容而不单独抽取思考内容,并称修复仍在进行。Ollama 的默认上下文与生成参数可能不适合 Qwen3,文档建议手动设置。许可方面,来源称开放权重模型采用 Apache 2.0。

来源与核对说明

  1. Qwen3 ↗https://github.com/QwenLM/Qwen3

本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。

这篇内容对你有帮助吗?

点赞与收藏保存在当前浏览器。

继续阅读

NVIDIA 发布 DIN Deploy:用 C++ 与 TensorRT RTX 构建本地 AI 应用 →