LiteLLM 评测：开源 LLM 网关如何帮你统一管理 100+ 模型提供商

管理多个 LLM 提供商曾经意味着维护独立的 API 集成、在多个仪表盘间监控成本，以及在某个提供商宕机时手动处理故障转移。LiteLLM 通过充当统一网关来解决这个问题——它部署在你的应用和任何 LLM 提供商之间。结果是：一个 API 端点、自动故障转移、成本追踪，以及零供应商锁定。本文将深入评测 LiteLLM 是否兑现了它作为每个 AI 应用所需基础设施层的承诺。

LiteLLM 是什么

从核心来说，LiteLLM 是一个开源代理服务器，将统一的 API 格式翻译成特定提供商的调用。你以 OpenAI 的格式向 LiteLLM 发送请求，它会路由到你配置的提供商——如果主提供商不可用，还会自动故障转移。

可以把它理解为”LLM API 的 nginx”。就像 nginx 部署在 Web 服务器前面处理路由、负载均衡和缓存一样，LiteLLM 部署在你的 LLM 提供商前面处理路由、故障转移和成本优化。

核心功能

统一 API 覆盖 100+ 提供商

最吸引人的功能是其广泛的提供商支持。LiteLLM 支持 OpenAI、Anthropic、Google (Gemini)、AWS Bedrock、Azure OpenAI、Cohere、Hugging Face、Ollama、vLLM 等等。只要有 API，LiteLLM 基本都支持。

对于正在评估多个提供商或逐步迁移的团队来说，这消除了重写应用代码的需要。只需更改一个配置值，请求就会路由到不同的提供商。

自动故障转移和负载均衡

当你的主提供商达到速率限制或宕机时，LiteLLM 会自动使用备用提供商重试。你可以配置故障转移链（先试 OpenAI，再试 Anthropic，再试 Google），并在同一提供商的多个实例间负载均衡以分散配额使用。

对于停机直接影响收入的生产应用来说，这特别有价值。你无需构建自定义重试逻辑，就能获得开箱即用的提供商弹性。

成本追踪和预算管理

LiteLLM 追踪每次 API 调用的成本，并提供统一的仪表盘，显示所有提供商的支出情况。你可以为每个用户、团队或 API 密钥设置预算，并在接近阈值时自动告警。

对于跨多个项目或部门管理 AI 成本的团队来说，仅这种可见性就值得部署。无需再登录三个不同的提供商仪表盘来对账月度支出。

模型预调用钩子

一个微妙但强大的功能：LiteLLM 支持在请求到达提供商之前修改请求的预调用钩子。这可以在不修改应用代码的情况下实现提示词注入检测、内容过滤和请求日志记录。

安装和配置

LiteLLM 可以通过 Docker、pip 或源码部署。Docker 方式最简单：

docker run -p 4000:4000 ghcr.io/berriai/litellm:main-latest \
  --model openai/gpt-4o \
  --model anthropic/claude-3.5-sonnet \
  --api-key sk-xxx

生产环境使用配置文件：

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-3.5-sonnet
      api_key: os.environ/ANTHROPIC_API_KEY

router_settings:
  routing_strategy: least-busy
  num_retries: 3
  fallbacks:
    - gpt-4o: [claude-sonnet]

基础配置总耗时：不到 15 分钟。

定价

选项	价格	包含内容
自托管	免费	全部功能，你自己管理基础设施
LiteLLM Cloud	免费版 + 付费计划	托管服务，团队功能

自托管选项完全免费，包含所有功能。云服务为不想自己运维基础设施的团队提供托管服务和企业功能。

替代方案对比

工具	类型	定价	适用场景
LiteLLM	开源代理	免费（自托管）	成本敏感团队，多提供商
Portkey	AI 网关	免费版 + 付费	托管网关，分析
SemanticGuard	Token 优化器	$49/月	高流量成本削减
OpenRouter	提供商聚合器	按量付费	简单多提供商访问
PromptLayer	提示词管理	免费版 + 付费	提示词版本管理工作流

LiteLLM 的关键优势是完全开源且可自托管，无功能限制。Portkey 是最强的托管替代方案，但对生产功能收费。

优缺点

优点：

• 真正的开源，无功能限制
• 支持 100+ LLM 提供商
• 自动故障转移和负载均衡
• 跨所有提供商的统一成本追踪
• 活跃社区，更新频繁
• Docker 部署，生产就绪

缺点：

• 自托管需要管理基础设施
• 文档可以更完善
• 高级路由功能有学习曲线
• 无内置 Token 优化（不同于 SemanticGuard）
• 企业支持除非付费否则靠社区

结论

LiteLLM 是每个认真对待 AI 应用的团队都应考虑的基础设施层。它干净地解决了多提供商管理问题，提供了单个提供商仪表盘无法匹配的成本可见性，并在无需自定义代码的情况下给你提供商弹性。

对于每月在多个提供商上花费 $200+ 的团队来说，仅运营效率就能让 LiteLLM 回本。仅自动故障转移就值得为任何生产应用部署。

评分：8.0/10 — 多提供商 LLM 部署的必备基础设施。这个领域最好的开源选择。

快速上手

1. 安装：pip install litellm 或使用 Docker
2. 在 config.yaml 中配置提供商
3. 启动代理：litellm --config config.yaml
4. 将应用的 API Base URL 指向 http://localhost:4000
5. 在内置仪表盘中监控成本