推理 论文

图灵1936年的这篇论文用一台抽象机器定义了「可计算数」，这台机器后来被称为图灵机；论文还证明，不存在能判定任意数学命题是否可证的通用方法。

1950年，图灵在《计算机器与智能》中以「模仿游戏」取代了「机器能思考吗」这个他认为过于模糊的问题，即后来的图灵测试，并逐一回应了对机器智能的主要反对意见。

麦卡锡 1959 年的论文提出「建议接受者」：一个在形式语言中操作句子来解题、推出祈使句便执行相应动作的程序，被视为逻辑式人工智能的早期纲领。

Marvin Minsky 1961 年发表于《Proceedings of the IRE》的综述，把启发式编程分为搜索、模式识别、学习、规划与归纳五个领域，并指出机器需要借助归纳建立环境的模型。

理查德·萨顿1988年的论文提出时序差分学习：用相邻两次预测之差分配信用的增量式预测方法，比传统方法更省内存、预测更准。

2015 年《自然》论文中，Mnih、Silver 等人用同一个深度 Q 网络智能体，仅凭像素和分数就在 49 款 Atari 游戏上达到职业人类测试员水平。

2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。

DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。

Francois Chollet 于 2019 年发表的论文，把智能定义为技能获取效率，并提出抽象与推理语料库（ARC）——一套只依赖核心知识、不需要专门领域知识和语言的网格任务基准。

2020 年发布的一个评测基准，用 57 个学科（从初等数学到法律）的题目考察语言模型，结果显示当时最大的模型也远未达到专家水平。

2021 年的一篇论文提出「指令微调」：把大量任务用自然语言指令描述后再微调语言模型，模型在没见过的任务上零样本表现大幅提升，并在多数评测任务上超过更大的模型。

DeepSeek-R1 报告介绍了如何主要依靠强化学习，并对正确答案给予奖励，训练出一个推理模型。它在数学、代码和推理基准上的表现与 OpenAI 的 o1 相当，权重也以开放形式发布。

《Qwen3 技术报告》介绍阿里巴巴 Qwen3 系列大语言模型，覆盖稠密与混合专家架构，统一思考与非思考模式，并加入思考预算机制，全部以 Apache 2.0 许可证发布。

2025 年的一篇论文提出 ARC-AGI-2 基准：用输入—输出配对任务测量前沿 AI 的抽象推理能力，并给出人类测试基线，让分数能更细致地反映进展。

《Gemini 2.5》技术报告于 2025 年 7 月 7 日提交到 arXiv，记录了 Google 的 Gemini 2.5 Pro 与 2.5 Flash，涉及推理能力、长上下文视频处理和成本与能力的取舍。

Gerald Tesauro 1992 年的论文以自对弈西洋双陆棋为案例，检验时序差分学习能否解决复杂现实任务。

2013 年，Mnih 等人用 Q 学习变体训练卷积网络，直接以像素为输入学会玩七款 Atari 2600 游戏，六款胜过旧方法，三款胜过人类专家。

这篇 2014 年的论文把神经网络与外部记忆耦合起来，网络通过注意力读写记忆；整个系统端到端可微，因此可以用梯度下降训练。

2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。

MATH 是包含 12,500 道高难度竞赛数学题的数据集，每题附完整分步解答，于 2021 年发布，用于测量和训练模型的数学推理能力。

GSM8K 是 OpenAI 发布的一套小学数学应用题数据集，包含 8.5K 道题；配套论文显示，即使最大的 Transformer 模型成绩也不高，而训练验证器、从多个候选解答中挑选正确答案能明显提升表现。

这篇论文由 Jason Wei 与 Google Research 的同事在 2022 年发表，它表明：在提示中给出带有中间推理步骤的示例、而不只是给出答案，能明显提升大模型在算术、常识和符号推理任务上的表现。

BIG-bench 是一个由社区共同构建的大型基准，包含 204 个任务，专门用来测试语言模型在被认为超出其当前能力的问题上的表现，相关论文于 2022 年 6 月发布。

2022 年的一篇论文提出，大语言模型的部分能力只在模型规模足够大时才出现，无法由小模型的表现外推预测，因此继续扩大规模可能继续拓展模型的能力范围。

2023 年 3 月，微软研究者在一篇论文中测试了早期版本的 GPT-4，认为它在众多领域表现出惊人的通用性、接近人类水平，可被视为迈向通用人工智能（AGI）的早期但不完整的一步。

GPQA 是包含 448 道选择题的问答基准，题目由生物学、物理学和化学专家撰写，设计成熟练非专家靠上网也答不出；基于 GPT-4 的最强基线正确率只有 39%，而同领域专家达到 65%。

GAIA 是一个面向通用 AI 助手的基准，用对人类简单、对 AI 困难的真实问题，考察推理、多模态、网页浏览和工具使用能力，并以人类平均水平衡量进展。

MMLU-Pro 是 2024 年发布的多任务语言理解基准，把以知识为主的 MMLU 改成更偏推理、每题十个选项的更难测试。

FrontierMath 是由 Epoch AI 推出的数学基准，包含数百道由专家数学家撰写与审核的原创高难度题目，用来考察 AI 的高级数学推理能力。发布时，最先进的模型解出的题目不足 2%。[^1][^2]

《人类最后的考试》（HLE）是一个包含 2,500 道题、横跨数十个学科的多模态基准，由全球专家编写，目的是在旧基准被模型刷满之后，仍能测量前沿大模型的能力。

这篇论文用 1000 道精选题目微调 Qwen2.5-32B，再用一种叫「预算强制」的简单方法控制模型的思考长度，在竞赛数学上最多领先 o1-preview 27%，并开源了模型、数据与代码。

2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。

HellaSwag 是 2019 年发布的一个挑战数据集：机器要从若干候选里挑出一句事件描述最可能的后续。它的错误选项由机器生成并筛选，目标是骗过模型而不是骗过人。