45,389
// 项目简介
LiteLLM 提供了一个统一的接口，可以使用一致的 OpenAI 兼容格式与 100 多个 LLM 提供商进行交互。开发人员可以将其用作 Python SDK 进行直接集成，或者将其部署为生产就绪的代理服务器。该平台通过提供负载均衡、支出跟踪和虚拟密钥等功能，简化了 LLM 的管理流程。
// 技术分析
LiteLLM 是一个开源的 AI 网关，旨在通过提供统一的、兼容 OpenAI 的接口，简化 100 多种大语言模型提供商的集成。通过抽象化特定于提供商的 SDK、身份验证模式和请求格式的复杂性，它使开发人员无需重写代码库即可在不同模型之间无缝切换。该项目既提供了用于直接应用程序集成的 Python SDK，也提供了包含支出跟踪、负载均衡和护栏等企业级功能的生产就绪型代理服务器，有效地解决了现代 LLM 开发中固有的碎片化问题。
// 核心亮点
01
提供统一的 API，允许开发人员使用单一、一致的兼容 OpenAI 的格式调用 100 多种 LLM 提供商。
02
提供生产就绪的 AI Gateway (Proxy Server)，内置虚拟密钥、支出跟踪和负载均衡等功能。
03
通过 A2A (Agent-to-Agent) 协议支持高级代理工作流，实现与各种代理框架的交互。
04
包含 MCP (Model Context Protocol) 网桥和网关，用于将外部工具和服务器连接到任何受支持的 LLM。
05
提供高性能路由，在每秒 1k 次请求的情况下，P95 延迟仅为 8ms。
06
实现无缝模型切换，允许团队在不修改现有应用程序逻辑的情况下更换 LLM 提供商。
// 典型使用场景
01
适用于 100+ LLM 提供商的统一 API
02
具备负载均衡和护栏功能的生产就绪型 AI 网关
03
与 MCP 工具和 A2A 代理的无缝集成
// 快速开始
要使用 Python SDK，请通过 'uv add litellm' 进行安装，并使用 'completion' 函数通过指定提供商前缀来调用模型。对于 AI Gateway，请使用 'uv tool install litellm[proxy]' 安装代理，并使用 'litellm --model <model_name>' 启动它。运行后，您可以将 base_url 指向您的本地实例，从而使用标准的 OpenAI 客户端库与代理服务器进行交互。