OpenLake 评测 2026：靠 KV Cache 卸载把大模型推理成本打下来

每一次推理服务为一个见过的 prompt 重新计算 prefill，你都在为已经做过的活儿再付一遍 GPU 钱。OpenLake 精准地打这块浪费：它把 GPU 节点变成共享的 KV cache 池，让长 prompt 和重复 prompt 在毫秒级被读回，而不是重算。

2,306 star、Apache-2.0，它已经是开源界对「推理成本」这个问题最认真的答案之一。

OpenLake 是什么？

OpenLake 是面向 GPU 工作负载的分布式存储引擎，用 Rust 基于 io_uring 实现。核心思路很朴素：GPU 主机上有大量闲置内存和高速本地盘，就紧挨着极其昂贵的加速卡——那就用起来。

最核心的场景是 KV cache 卸载。推理引擎把 KV 写一次，后续共享前缀的请求直接读回。长系统提示词、重复文档、多轮对话，都不必每次再交一遍 prefill 税。

它还覆盖 GPU 存储的相邻问题：向量索引构建与服务、RL/ML 训练的 checkpoint 存取、训练循环的小文件 I/O，以及智能体检索所需的大规模上下文存储。

核心特性

• KV cache 卸载——PB 级 KV 存储，与 GPU 主机同机部署。
• 即插即用的 vLLM 连接器——pip install openlake-vllm，启动 openlaked，给 vLLM 传一个 --kv-transfer-config 参数，业务代码零改动。
• 多机集群——可跨 GPU 集群走 RDMA / InfiniBand，也可单机本地卸载。
• Checkpoint——RL 与 ML 负载的高速检查点写入与恢复。
• 向量库负载——快速索引构建与向量服务。
• 上下文存储——为智能体检索存放海量会话与记忆。

适合谁用？

这是基础设施，不是点几下就能用的产品。它面向自建推理的团队——自托管 vLLM、内部模型网关，或者 GPU 常因 I/O 空转的训练集群。

如果你纯粹通过 API 调模型（OpenAI、Anthropic 之类），OpenLake 对你毫无帮助。那一层的成本控制该找路由/代理，比如 LiteLLM 或 Millwright——它们靠「选更便宜的模型」省钱，而不是靠复用缓存。

两条路互补而非竞争：OpenLake 降低你自己跑的那部分推理的成本，路由器则减少你到底要买多少前沿推理。

与同类的差异

最接近的对比是 LMCache，同样为 vLLM 做 KV cache 卸载。OpenLake 的差异在于它本身是基于 io_uring 的通用存储引擎——同一套集群还能服务 checkpoint、向量和训练 I/O，而不只是 KV。

对比 MinIO、Alluxio 这类通用对象存储，差别在负载画像：OpenLake 瞄准的是百万级 IOPS、亚毫秒延迟的小块随机读，这恰恰是 GPU 负载真正产生的形态。

一个必须说明的点：公开的性能数字——包括 128K 上下文命中缓存时 66× 的首 token 加速——来自项目自己的基准测试。把它当作值得在你自己负载上复现的方向性结论，而不是第三方审计结果。

优点与不足

优点： 靠复用 prefill 实打实降本；vLLM 零代码接入；同时覆盖 checkpoint、向量与训练 I/O；Rust + io_uring 的真实性能；Apache-2.0；开发活跃。

不足： 只有自建推理或训练才用得上；源码构建需 Rust 1.91+，多机还要配 RDMA；性能数据为厂商自测；项目年轻，相对开源时间未关闭 issue 偏多。

价格

免费开源（Apache-2.0）。若不想自己运维，官方也提供托管云服务。

常见问题

要改推理代码吗？ 不用。装连接器、跑 openlaked，给 vLLM 传一个指向 OpenLake 节点的 --kv-transfer-config 即可。

单卡单机能用吗？ 能。默认就卸载到本机，多机集群是可选配置。

到底能省多少？ 完全取决于你的 prompt 复用率。共享长系统提示词、重复文档的负载收益最大；全是唯一短 prompt 的收益最小。请在自己的流量上实测。

这跟 API 厂商的 prompt caching 是一回事吗？ 思路相近，层次不同。厂商侧缓存是你买的服务；OpenLake 是你在自己已有硬件上跑的东西。