LiteLLM AI Gateway：统一调用多家 LLM 的开源网关

工具定位

LiteLLM 是一个开源的 AI Gateway（AI 网关），目标是用统一的 OpenAI 格式接口调用 100 多个 LLM 提供商，包括 OpenAI、Anthropic、Gemini、Bedrock、Azure 等。它有两种使用形态：

• Python SDK：作为库直接集成到代码中。
• AI Gateway（Proxy Server）：部署为集中式服务，供团队或组织统一调用。

解决的问题

跨提供商调用 LLM 时，各家的 SDK、鉴权方式、请求格式和错误类型都不相同。LiteLLM 提供统一的接口，并保持与 OpenAI 接口的兼容，因此可以在不改写代码的情况下切换提供商。

网关能力（原文列举）

作为生产网关，它提供虚拟密钥、开销追踪、防护规则、负载均衡和管理面板。原文给出了一项性能指标：在 1k RPS 下 P95 延迟为 8ms，并指向其基准测试文档；该数字仅对应这一测试条件，不能外推为其他负载下的表现。

使用方式

• SDK：通过 uv add litellm 安装，调用 completion(model=..., messages=...)，以 provider/model 形式指定模型。原文说明：另有独立的 litellm-core 发行版，提供相同的 import litellm API；两者不应在同一环境中同时安装；在正式的发布集成完成前，可以从源码构建 core。
• 网关：通过 uv tool install 'litellm[proxy]' 安装，执行 litellm --model gpt-4o 启动，之后用 OpenAI 客户端把 base_url 指向本地 4000 端口即可调用。

相关扩展

原文还介绍了 A2A 代理调用、MCP 工具桥接与 MCP 网关（包括在 Cursor IDE 中接入），以及通过 SDK 在任意模型上运行 Claude Code、Codex、OpenCode 等代理 harness 的用法。

信息边界

本资料来自项目 README，内容有截断；它没有说明许可证、完整的部署步骤，也没有说明各项功能的具体限制。文中提及的自托管与托管/企业版本应区分看待，不能把托管平台的能力套用到开源 SDK 上。