Socrates 评测 2026：只问不答的 AI 顾问，如何让模型实验效果飙升 55.9%

让 AI 变得更强，常规思路是换更大的模型、加更多的算力。但 Hexo Labs 的研究团队在 COLM 2026 上发表了一篇论文，给出了一个反直觉的答案：再加一个 AI，但这个 AI 只能提问，不许回答。

这就是 Socrates 协议的核心设计。它把两个 AI 智能体配成一组：一个「科学家」负责动手做实验、写代码、调参数，拥有完整的工具调用能力；另一个「苏格拉底」则被程序硬性约束——不能给答案、不能下指令、不能用工具，唯一能做的就是不断地提问。每轮实验计划在获得苏格拉底的 [APPROVED] 批准之前，科学家都不能执行。结果令人震惊：在 MLE-bench 的五项 Kaggle 真实赛题上，有苏格拉底陪练的科学家比单打独斗时平均提升了 55.9%。

这不是又一个 prompt engineering 花招。提问约束是在代码层面强制执行的，而 [APPROVED] 门控机制创造了一个硬性的质量关口——科学家必须直面质疑、重新审视自己的假设，而不能像面对一个传统上级代理人那样直接接受指令、跳过思考。这是一种「约束产生质量」的优雅示范。

Socrates 是什么

Socrates 是一个开源的多智能体协议，不是独立的应用。它提供两种互补的执行模式。顺序模式（Sequential scaffold）适用于单实验、逐步推进的研究场景，科学家提出方案，苏格拉底提问质疑，经过可配置的讨论轮次（默认三轮）后门控解锁。进化模式（Evolutionary scaffold）则基于 MLevolve 和蒙特卡洛图搜索（MCGS），支持大规模并行探索——数十个实验分支同时运行，苏格拉底在每个范式突变节点进行把关，阻止计算资源浪费在死胡同方向上。

架构设计上也有巧思。苏格拉底跨会话保持状态，逐步建立对科学家研究进程的心智模型；而科学家在每个实验回合中是无状态的——它从共享环境（文件系统、实验日志）读取上下文，但不保留跨轮次的持久记忆。这个设计防止了科学家在连续实验中不断强化自己的偏见，是一个微妙但重要的安全网。

典型应用场景

打 Kaggle 比赛的数据科学家可以用顺序模式在提交前对特征工程假设进行苏格拉底式审问，逼出被忽视的领域知识。探索新网络架构的博士生可以开启进化模式，让 50 个并行分支自动搜索解空间，苏格拉底在关键变异处把关，避免 GPU 资源浪费在无效方向上。智能体框架开发者可以研究「只问不答」约束作为可复用设计模式，把 [APPROVED] 门控机制移植到自己的代码审查或规划流水线中。MLOps 团队可以把苏格拉底审查询问点嵌入自动化模型再训练流程，在模型进入预发布环境前拦截特征漂移和数据泄露。教育工作者可以把 Socrates 的提问日志作为教学素材，向学生展示结构化提问如何揭示实验设计中的隐藏假设。

核心特性

只问不答的顾问协议

苏格拉底不能给答案、不能下指令、不能调用工具——只能提出澄清性问题。这个约束是代码层面强制执行的，不是靠 prompt 暗示。结果是一种截然不同的交互模式：科学家无法偷懒听从指令，必须在结构化自省中得出自己的结论。

强制性 [APPROVED] 门控

每项实验计划都必须经过苏格拉底的明确批准才能执行。门控仅在达到可配置的讨论轮次后可以被绕过。这防止了科学家在没有充分推理的情况下匆忙执行实验，天然形成了一个质量控制层。

双骨架架构

两种执行模式服务于不同的研究需求。顺序骨架适合重视单步推理质量的单实验流水线；进化骨架基于 MCGS 树搜索，支持并行探索、范式突变算子和跨分支融合，面向高通量实验场景。

MLE-bench 基准集成

在 OpenAI MLE-bench 的五项真实 Kaggle 赛题上进行了评估：Statoil Iceberg（雷达图像分类）、Stanford COVID Vaccine（RNA 降解预测）、Ventilator Pressure（时间序列回归）、NFL Contact Detection（运动员追踪）和 Smartphone Decimeter（GPS 定位）。每项赛题都配备了数据加载器和提交流水线。

学术研究出身

COLM 2026 的同行评审论文包含了完整的可复现物：配置文件、统计分析工具，以及一个基线 PI 对照条件（一个只会说「加油」的通用鼓励智能体），用于隔离结构化提问的效果与单纯多智能体存在的效果。这不是拍脑袋的结论，而是经过同行评审的科学发现。

价格方案

Socrates 本身是 MIT 协议下的免费开源软件。真正的成本来自 LLM API 调用。默认模型是 Anthropic 的 Claude Opus 4，一次完整的 50 步进化运行根据任务不同可能花费 $10–$50 美元。顺序骨架较轻量，通常只需约 30 步。用户可以通过配置切换到更便宜的模型，但论文尚未量化模型能力对 55.9% 提升幅度的具体影响。五项基准赛题中，COVID、Ventilator 和 Smartphone 三项可以在 CPU 上运行，GPU 是可选的。

常见问题

Socrates 能用 Claude Opus 4 以外的模型吗？ 可以，模型是可配置的。但论文中所有结果都基于 Claude Opus 4，尚未量化便宜模型对提问质量的影响。使用较弱模型可能导致苏格拉底式提问深度不足，削弱协议效果。

除了 Kaggle 比赛，还能用在其他地方吗？ 协议在理论上是智能体无关、领域无关的——任何需要做决策的 LLM 智能体都可以受益于结构化提问。但截至 2026 年中，项目只有 7 个 GitHub star，零社区贡献，还没有人在 MLE-bench 之外验证过协议的泛化能力。这个问题目前没有明确答案。

这和让 AI 自己审查自己的工作有什么区别？ 论文设计了一个对照实验——使用一个只会泛泛鼓励的「啦啦队」智能体——证明单纯的多智能体存在并不能带来提升。只问不答的约束是关键。自我审查 prompt 能产生有用的反思，但缺少对抗性动态和硬性门控这两项 Socrates 的核心机制。

总结

Socrates 是对 AI 智能体设计的一个真正新颖的贡献，有扎实的实证支撑。55.9% 的平均提升令人瞩目，只问不答的约束巧妙且动机充分，COLM 2026 的学术背书增加了可信度。但这是一个极早期的研究项目——个位数 star、零社区参与、范围紧紧限定在 MLE-bench 赛题上——今天的实际可用性仅限于愿意投入环境搭建的 ML 研究者。如果协议能泛化到 Kaggle 之外的领域且社区开始生长，Socrates 有可能成为多智能体质量控制的标准模式。目前，它是一个值得关注和上手实验的有趣想法，前提是你本来就深耕 ML 研究。