《绝对零：零数据的强化自博弈推理》

人工出题为什么会成为瓶颈

可验证奖励的强化学习（reinforcement learning with verifiable rewards，RLVR）是这样训练语言模型的：模型给出答案，由一段程序自动判断对错——数值对上了，或者代码跑通且结果正确，就给予奖励。整个过程不需要人逐步批改推理过程，因此这种方法被广泛用于推理训练。但题目本身仍然是人写的。论文指出，此前的零设定（zero-setting）RLVR 工作虽然不需要标注推理过程，却依然依赖人工整理的问题—答案集合^[1]。

作者认为这种依赖是一个天花板。高质量的人类样本本身稀缺，会限制方法长期的可扩展性^[1]。还有一层更微妙的担心：对于一个能力超过人类智能的系统来说，人类写的题目所能提供的学习潜力可能是有限的^[1]。如果受训者注定要超过出题者，那么题目的供给就不该被「人还能写出多少好题」卡住。

自己出题，自己解题

「绝对零」（Absolute Zero）就是作者提出的范式：由单一模型自己提出能够最大化自身学习进度的任务，再通过解决这些任务来提升能力，全程不使用任何外部数据^[1]。

建立在这个想法上的具体系统叫绝对零推理器（Absolute Zero Reasoner，AZR）。它的核心做法是用同一个代码执行器（code executor）同时承担两件事：验证模型提出的代码推理任务，以及验证模型给出的答案^[1]。代码执行器就是运行代码并报告结果的程序——返回了值、抛出了错误，还是一直跑不完，它都会如实反馈。这样一来，它就构成了统一的可验证奖励来源^[1]：一个被提出的任务，在进入训练课程之前可以先被检查是否形式正确、是否可解；一个答案，也可以靠实际运行来判定。

可以粗略地设想它怎么运转：模型提出一道关于如何处理某个列表、计算某个值的小编程题，执行器先跑一遍，确认这是一道成立且可解的题；等模型给出解法，再由同一个执行器判断解法行为是否正确。由于出题者和解题者是同一个模型，训练课程不是事先排好的，而是自我演化（self-evolves）的^[1]。解题能力提高之后，原先有难度的题不再有信息量，出题的一方就会被推向当前能力边缘的题目。所谓「最大化自身学习进度」，落到实处就是这个意思：一道题值得练，是因为模型还能从它身上学到东西。

结果

完全不使用外部数据训练的 AZR，在编程与数学推理上达到总体最佳水平^[1]。它超过了那些依赖数万条同领域人工整理样本的零设定模型^[1]，并比此前的最佳模型平均高出 1.8 个百分点^[1]。

主实验在 Qwen2.5-7B 和 Qwen2.5-7B-Coder 上训练，分别得到 Absolute Zero Reasoner-base-7B 和 Absolute Zero Reasoner-Coder-7B^[1]。规模效应也很明显：在 3B、7B 和 14B 的 coder 模型上，收益随模型变大而增长，而且这套方法在不同模型类别上都适用^[1]。

作者还检查了自训练有没有把模型的输出多样性压塌。在 pass@k 评测里——同一道题生成 k 个答案，看是否至少有一个正确——他们一直测到 k=512，发现 AZR 保持了答案多样性，在 5 种情况中的 4 种优于基座模型^[1]。这一点重要，因为一个自己教自己的模型如果慢慢只会给出同一种套路答案，某些指标上看着还行，实际可用性却会大打折扣。

意义

真正有意思的地方在于训练信号从哪来。在以往的流程里，由人决定模型练什么；在这里，模型负责出题，程序负责判卷，解题过程本身就是训练^[1]。由于判卷的是代码执行器而不是人，这个循环不需要不断补充手写的新题就能一直转下去，数据在系统内部产生^[1]。

作者把这项工作定位为绕开人类样本稀缺的一条路径^[1]。一个模型在超过人类写下的起点之后，还能不能持续给自己供应有用的题目，正是这类设计想要探明的问题。

论文信息

《绝对零：零数据的强化自博弈推理》（Absolute Zero: Reinforced Self-play Reasoning with Zero Data）由 Andrew Zhao、Yiran Wu、Yang Yue、Tong Wu、Quentin Xu、Matthieu Lin、Shenzhi Wang、Qingyun Wu、Zilong Zheng 和 Gao Huang 撰写，2025 年 5 月 6 日提交到 arXiv，编号 2505.03335^[1]。