Millwright 评测 2026：一个 Rust 二进制文件里的自托管 LLM 路由器

当每个请求都打到最贵的前沿模型，账单立刻飙升——而且切换供应商还会悄悄破坏 prompt 缓存复用。Millwright 是一个自托管的 LLM 路由器（单个 Rust 二进制），把更便宜的路径交到你手里，把策略、缓存亲和与开销管控集中到一处。

Millwright 是什么？

Millwright 是开源的 LLM 路由器，架在你的 AI 应用和你所选的模型供应商之间。它接收 OpenAI Chat Completions 和 Anthropic Messages，再把每个请求路由到 OpenAI 兼容 API、Anthropic 或 Amazon Bedrock。你定义哪些模型属于 cheap、mid、frontier 三种角色；Millwright 在你的策略允许范围内，挑选估算成本最低的健康路由。

它是路由器，不是智能体编排器——它不启动智能体、不检查 prompt、也不改写上下文。

核心特性

• 策略驱动路由——把请求归类为 cheap / mid / frontier；高风险与规划类请求始终走 frontier。
• 缓存感知亲和——在单个 session ID 下保留独立的 cheap/mid/frontier 通道，保护 prompt 缓存复用。
• 开销账本——默认 SQLite，生产可用 PostgreSQL，并保留路由溯源。
• 供应商可移植——在不改动应用代码的前提下，从一个端点后切换供应商。
• 数据面自己掌控——供应商凭据留在你的基础设施里。
• 兼容 Claude Code、Codex、OpenCode、Pi 等兼容客户端。

适合谁用？

Millwright 面向运行大量并发智能体会话、想在不手工调每个调用的前提下压住 LLM 开销的团队。如果你正在对比路由器，它是 LiteLLM 和各类托管网关的自托管替代品——没有必须的管控面。

如果你只从一个应用调用一个模型，它就不太值当——搭建成本超过了收益。

优点与不足

优点： 自托管且私密、开销控制明确、缓存感知并发、路由可审计。

不足： 早期版本（v0.1.0），API 可能变动；仅是路由器（不编排智能体）；从源码构建需要 Rust 1.97+。

价格

免费、开源（Apache-2.0）。

常见问题

Millwright 会检查我的 prompt 吗？ 不会。路由决策依据任务/风险标头和模型选择，从不读取消息内容。

能替代 LiteLLM 吗？ 它覆盖核心的路由、缓存与开销追踪场景，且完全自托管；能否替代 LiteLLM 取决于你依赖哪些高级特性。

哪些客户端能用？ 任何 OpenAI 兼容或 Anthropic 兼容的客户端，包括 Claude Code、Codex、OpenCode。