QwQ 推理模型使用指南

用途与特点

根据 QwenLM/QwQ 项目页，QwQ 是 Qwen 系列内专注推理的模型，区别于常规指令微调模型，侧重复杂问题求解与批判性思考。页面提到的最新版本为 QwQ-32B，中等规模，宣称可与 DeepSeek-R1、o1-mini 等顶级推理模型竞争；具体评测数字需要通过其评测代码复现确认。

使用要点

• 思考输出：建议确保模型以 <think> 开头，避免思考内容为空；用 apply_chat_template 并设置 add_generation_prompt=True 时已自动处理。
• 采样参数：官方推荐 Temperature=0.6、TopP=0.95、MinP=0、TopK=40，不使用重复惩罚；明确不要用贪心解码，否则可能陷入无限重复。TopK 可在 20–40 间调整，presence_penalty 可在 0–2 间调节以抑制重复。
• 多轮对话：历史中的模型输出只保留最终回答，不含思考内容。
• 输出格式：数学题建议要求分步推理并用 \boxed{} 包裹答案；多选题建议用 JSON 的 answer 字段只填选项字母。
• 长输入：超过 8192 tokens 时可启用 YaRN 提升长序列建模；页面提示 vLLM 仅支持静态 YaRN，短文本上可能受影响，仅在需要长上下文时添加配置。

限制与待核实

页面未给出性能对比的具体数值与测试环境，相关结论需结合评测代码核实；采样参数和重复问题属于官方建议，未在本文中实际验证。