RouteLLM：用路由框架在强弱模型间分配查询

解决的问题

不同 LLM 的成本与能力差异很大：全部使用最强模型质量高但昂贵，全部使用小模型省钱但质量可能下降。RouteLLM 的思路是在一个强模型与一个弱模型之间路由，由路由器判断每个查询交给哪一方，并用「成本阈值」调节成本与质量的取舍。

内置路由器

文档列出 4 个训练过的路由器与 1 个基线：

• mf：基于偏好数据训练的矩阵分解模型，文档推荐使用；
• sw_ranking：加权 Elo 计算，按与用户提示的相似度给投票加权；
• bert：基于偏好数据训练的 BERT 分类器；
• causal_llm：基于偏好数据调优的 LLM 分类器；
• random：随机路由。

这些路由器训练于 gpt-4-1106-preview 与 mixtral-8x7b-instruct-v0.1 这一模型对，文档称它们对其他强弱模型对也有较好泛化，可替换模型对而无需重新训练。新增路由器需实现抽象 Router 类中的 calculate_strong_win_rate 方法：该方法返回强模型在给定提示下的胜率，高于阈值则路由到强模型，否则走弱模型。

使用与配置要点

• 可作为 OpenAI 客户端的替代：用 Controller 指定路由器、强模型和弱模型；请求时在 model 字段写 router-[路由器名]-[阈值]。
• 也可启动 OpenAI 兼容服务器，参数包括 --routers、--config、--strong-model、--weak-model。
• 阈值需按实际查询分布校准：文档示例用 Chatbot Arena 数据集校准到约 50% 请求走强模型，并提示实际比例会随真实查询不同而变化，建议用接近自身流量的数据校准。
• 模型接入借助 LiteLLM，可用 openai/ 前缀配合 --base-url 与 --api-key 指向兼容端点。文档注明：无论用哪对模型，mf 与 sw_ranking 路由器生成嵌入时目前仍需 OPENAI_API_KEY。

评估

框架内置评估命令，支持 mmlu、gsm8k、mt-bench 基准，默认以 GPT-4 与 Mixtral 为模型对，结果默认缓存，可用 --overwrite-cache 覆盖。

边界说明

文档所称「最多降低 85% 成本、保持 95% 的 GPT-4 表现」有基准与模型对等条件限定，不应视为固定收益；相关论文为预印本，结论尚未经同行评审验证。