Qwen3 通义千问大模型

能做什么

Qwen3 是通义千问团队发布的开源大语言模型系列（Apache 2.0 许可），官方说明其能力包括：

• 多尺寸模型：提供 0.6B、1.7B、4B、8B、14B、32B 等稠密模型，以及 30B-A3B、235B-A22B 等 MoE 模型。
• 思考模式切换：早期 Qwen3 模型可在思考模式（面向复杂逻辑推理、数学、编码）与非思考模式（面向高效通用对话）之间切换；Qwen3-2507 将 Instruct 与 Thinking 拆分为两个独立变体。
• 推理与通用能力：官方称在数学、代码生成、常识逻辑推理等任务上有增强，并支持工具调用与智能体能力。
• 多语言：官方称支持 100 多种语言和方言，具备多语言指令跟随与翻译能力。
• 长上下文：Qwen3-2507 支持 256K token 上下文理解，并称可扩展至 100 万 token。

适用场景

• 需要本地或私有化部署的大语言模型推理与对话。
• 数学、编程、逻辑推理等高复杂度任务。
• 多语言指令跟随、翻译与文本生成。
• 作为智能体或工具调用场景的底层模型。
• 需要长上下文处理的文档理解类任务。

使用条件与限制

• 可通过 Transformers、ModelScope、llama.cpp、Ollama、LMStudio、ExecuTorch、MNN、MLX LM、OpenVINO 等方式在本地运行。
• 部署可借助 SGLang、vLLM、TensorRT-LLM、MindIE 等推理框架，部分框架提供 OpenAI 兼容 API。
• 官方文档提及 transformers>=4.51.0、llama.cpp>=b5401、sglang>=0.4.6.post1、vllm>=0.9.0、tensorrt_llm>=0.20.0rc3、mlx-lm>=0.24.0 等版本建议。
• Qwen3-Instruct-2507 仅支持非思考模式，不输出思考块；Qwen3-Thinking-2507 仅支持思考模式，官方建议用于高复杂度推理任务并留足生成长度。
• SGLang 与 vLLM 的官方说明指出，其 API 预处理会丢弃 reasoning_content 字段，可能影响思考模型的多步工具调用质量。
• 具体显存需求与吞吐量需查阅官方文档中的性能基准页面。