LiteLLM AI Gateway 配置与集成指南

用途与总体结构

根据来源，LiteLLM 是开源的 AI Gateway，提供统一接口，以 OpenAI 格式调用 OpenAI、Anthropic、Gemini、Bedrock、Azure 等 100 多个提供商。它既可以作为 Python SDK 嵌入代码，也可以部署为代理服务器（AI Gateway），供团队或组织集中使用。

配置要点

• SDK 安装：来源给出的命令为 uv add litellm，调用方式为 completion(model="openai/gpt-4o", ...)，模型名带提供商前缀。
• 代理部署：来源给出 uv tool install 'litellm[proxy]' 与 litellm --model gpt-4o，客户端以 base_url="http://0.0.0.0:4000" 接入。
• 发行版区分：来源提到独立的 litellm-core 发行版提供相同的 import litellm API，但无可选依赖、CLI 入口和捆绑面板；同一环境只能安装其中一种。
• 集成能力：来源列出 A2A 智能体调用（代理路径形如 http://localhost:4000/a2a/<agent名>）、MCP 工具桥接（工具类型 mcp，含 server_url、server_label、require_approval 字段）以及 Cursor IDE 的 mcpServers 配置示例。
• 端点覆盖表：来源以表格列出各提供商支持的 /chat/completions、/messages、/embeddings、/images 等端点，并注明部分提供商如 Infinity、Jina AI 仅支持 embeddings。

适用场景

需要跨多家模型提供商统一调用、或希望以 OpenAI 兼容方式替换后端模型的开发与团队部署场景。

限制与待核实

来源内容被截断，提供商列表未完整；未提供价格、完整版本号与兼容性验证结果；来源声称的延迟基准未在本摘要中核实。具体配置项与参数含义应以官方文档为准。