Pestle-27B-Ternary 评测 2026：把 27B 模型塞进 8.5 GB GGUF 的本地医疗与通用模型

过去在本地跑一个 27B 级别模型，往往意味着 50+ GB 权重。Pestle-27B-Ternary 把相近的能力打包进单个 8.48 GB GGUF。

Pestle-27B-Ternary 是什么？

Pestle-27B-Ternary 是一个紧凑的 27B 三值权重语言模型，用于本地推理，基于 Qwen3.6-27B，施加了 Doses AI 的三值压缩（权重约束为 -1/0/+1）并配一个同父 BF16 最终解码块。它把私有医疗问答、生物医学证据、药物检索、编程与通用助手能力打包进单个可运行 GGUF，由 Mortar 运行时（兼容 llama.cpp）加载。它明确是「研究预览」，不是医疗器械。

核心功能

• 27B 级模型经三值权重（-1/0/+1）压缩为单个 8.48 GB GGUF
• 强医疗基准：MedQA 89.79、MedMCQA 68.85、PubMedQA 准确率 76.70
• 本地用 Mortar 运行于 Apple Silicon、NVIDIA CUDA 或 CPU 回退
• 通用能力保留：MMLU-Redux 83.53、GSM8K 93.25、HumanEval+ 87.20
• 上下文最长 262K；可选视觉输入（独立 mmproj 投影文件）

谁该用？

想在本地、注重隐私的医疗文本或生物医学检索助手上获得 27B 级质量、又不想配服务器级显存的研究者、受训临床人员与开发者。它也是一个称职的通用/编程模型，任何能跑 8.5 GB GGUF 的人都能用。

优缺点

优点： 惊人的体积压缩且医疗分数强；完全本地、Apache-2.0；通用能力广。

缺点： 仅限研究预览（不可用于临床）；需自行构建/运行独立的 Mortar 运行时；压缩相对全精度 FP16 会损失部分准确率。

定价

免费开放权重，Apache-2.0 许可证。

常见问题

能在 Mac 上跑吗？ 能——Mortar 在 Apple Silicon 用 Metal；纯 CPU 构建也能跑，只是更慢。

它是医疗器械吗？ 不是——它是研究预览，不得用于诊断或治疗决策。

基于哪个基础模型？ Qwen3.6-27B，对其语言模型施加了三值压缩。