Reame 评测 2026：记得自己算过什么的精简 LLM 服务器

大多数本地 LLM 服务器把每个请求都当成全新的：计算、丢弃、重复。在 GPU 上这没问题——算力便宜。但在廉价的 CPU 上，算力是你最贵的东西。Reame 恰恰建立在相反的理念上：在 CPU 上，永远不要重复计算相同的内容。

Reame 是什么

Reame 是一个基于 llama.cpp 构建的精简、全测试 LLM 推理服务器，专为你的现有硬件而设计——共享 vCPU、免费套餐实例，甚至双核 ARM 设备。它把提示词、前缀和过往生成缓存到磁盘（zstd + LRU），所以服务器运行得越久就越快。它暴露一个 OpenAI 兼容的 REST API，每进程运行单一模型，且仅用 CPU。

适用场景

• 重复性工作负载——文档抽取、批量管道、同一前缀反复出现的数据标注。
• 私有代码补全——在免费 VPS 上跑一个小模型（如 Qwen2.5-Coder 1.5B）。
• 隐私绑定推理——数据从不出你的机器。
• 削减 API 账单——把付费云推理替换成窄带、高量的任务。

核心功能

磁盘优先的 KV 缓存

前缀快照以 zstd 压缩、LRU 字节预算写入 NVMe。与 GPU 常驻的前缀缓存不同，它们能跨重启存活，并在用户间共享。

Palimpsest 生成存档

已完成的生成被存为 n-gram 存档。下一次相似的请求从存档里起草自己的答案——免费。

自调节投机解码

免费的 n-gram 查找或微小草稿模型提出令牌；当实测接受度转负时，反馈控制器自动关闭投机。

Conclave（—best-of N）

一个交织批次生成 N 个候选，KV 共享预填充；多数投票选出胜者。实测在严格数学测验上多答对 0.5–2 题，耗时仅增加约 2.5 倍。

OpenAI 兼容 API

/v1/chat/completions、SSE 流式、sessions（保存/加载）、bearer 鉴权以及 /metrics——把任意 OpenAI 客户端指向它即可。零配置：reame run qwen2.5-1.5b --serve。

横向对比

服务器	廉价 CPU 聚焦	磁盘记忆	OpenAI API	免费
Reame	✅	✅	✅	✅
Ollama	❌	❌	部分	✅
llama.cpp	❌（仅引擎）	❌	❌	✅
LM Studio	❌	❌	✅	✅

结论

如果你想在零成本的硬件上认真服务一个工作负载，Reame 是正解。它不是 GPU 替代品，也不是随意玩多模型的游乐场——但对于免费套餐机器上的窄带、重复性推理，“第 100 次请求成本仅为第 1 次的零头”是一种真正不同的经济模型。免费、MIT 许可、完全自托管。