论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

精选

Attention Is All You Need（注意力就是你所需要的）2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。DeepSeek-R1：用强化学习激发大语言模型的推理能力DeepSeek-R1 报告介绍了如何主要依靠强化学习，并对正确答案给予奖励，训练出一个推理模型。它在数学、代码和推理基准上的表现与 OpenAI 的 o1 相当，权重也以开放形式发布。语言模型是少样本学习者（GPT-3）GPT-3 论文表明，一个拥有 1750 亿个参数的语言模型，只要在提示词（prompt）里给出几个例子，就能完成许多任务，无需额外微调；而且这种能力随模型规模增大而增强。ImageNet Classification with Deep Convolutional Neural Networks（用深度卷积神经网络做 ImageNet 分类）2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。Deep Residual Learning for Image Recognition（用于图像识别的深度残差学习）2015年的这篇论文提出了残差网络，通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练，并在2015年的多项ILSVRC和COCO任务中夺得第一名。用人类反馈训练语言模型遵循指令（InstructGPT）InstructGPT 结合人工撰写的示范回答、人类对输出的排序和强化学习，让 GPT-3 更好地遵循用户指令。即使模型小得多，标注员也更偏好它的输出。

共 199

2026
《Kimi K3：开放的前沿智能》
arXiv
Kimi K3 是月之暗面发布的 2.8 万亿参数混合专家模型，具备原生视觉与百万 token 上下文，权重随报告开放；报告称其多项任务达前沿水平，但整体仍落后最强闭源模型。
大语言模型开源中国 AI
2026
《Muse Spark 安全与准备度报告》
arXiv
Meta 为 Muse Spark（Meta AI 的底层模型）发布的安全与准备度报告，交代了支撑其发布决策的灾难性风险评估，并论证在施加缓解措施后残余风险可接受。
大语言模型基础模型安全与治理
2026
《DeepSeek-V4：面向百万 token 上下文的高效智能》
arXiv
DeepSeek-V4 系列的预览报告：Pro 版总参数 1.6 万亿、Flash 版 2840 亿，两者均支持百万 token 上下文，并给出了让这一长度变得可负担的注意力、连接与优化器改动。
大语言模型开源中国 AI
2026
《Qwen3.5-Omni 技术报告》
arXiv
《Qwen3.5-Omni 技术报告》介绍阿里巴巴数千亿参数的多模态模型：可理解超 10 小时音频，支持 10 种语言语音生成，在 215 项音视频基准上报告最优结果。
大语言模型开源中国 AI
2026
《GLM-5：从氛围编程到智能体工程》
arXiv
智谱的 GLM-5 技术报告介绍了一个 7440 亿参数的混合专家模型，依靠稀疏注意力与异步强化学习，把 AI 编程从「氛围编程」推向「智能体工程」。
大语言模型中国 AI 智能体与工具调用
2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
研究史智能体与工具调用代码
2025
《Kimi K2：开放的智能体智能》
arXiv
Kimi K2 是 Moonshot AI 的万亿参数混合专家模型，用 MuonClip 优化器完成预训练，并以大规模智能体数据与强化学习做后训练；报告称它在开源非思考模型中处于领先，并公开了基座与后训练权重。
大语言模型开源中国 AI
2025
《Gemini 2.5：以先进推理、多模态、长上下文与新一代智能体能力推进前沿》
arXiv
《Gemini 2.5》技术报告于 2025 年 7 月 7 日提交到 arXiv，记录了 Google 的 Gemini 2.5 Pro 与 2.5 Flash，涉及推理能力、长上下文视频处理和成本与能力的取舍。
大语言模型基础模型多模态
2025
《Common Pile v0.1：8TB 公共领域与开放许可文本数据集》
arXiv
一个 8TB 的公共领域与开放许可文本数据集，用于大语言模型预训练；作者同时发布两个在该数据上训练的 70 亿参数模型，用以证明这批数据够用。
大语言模型开源数据与数据集
2025
《ARC-AGI-2：面向前沿 AI 推理系统的新挑战》
arXiv
2025 年的一篇论文提出 ARC-AGI-2 基准：用输入—输出配对任务测量前沿 AI 的抽象推理能力，并给出人类测试基线，让分数能更细致地反映进展。
研究史推理仿真
2025
《Qwen3 技术报告》
arXiv
《Qwen3 技术报告》介绍阿里巴巴 Qwen3 系列大语言模型，覆盖稠密与混合专家架构，统一思考与非思考模式，并加入思考预算机制，全部以 Apache 2.0 许可证发布。
大语言模型开源中国 AI
2025
《绝对零：零数据的强化自博弈推理》
arXiv
2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。
研究史开源深度学习
2025
《s1：最简单的测试时扩展》
arXiv
这篇论文用 1000 道精选题目微调 Qwen2.5-32B，再用一种叫「预算强制」的简单方法控制模型的思考长度，在竞赛数学上最多领先 o1-preview 27%，并开源了模型、数据与代码。
大语言模型研究史深度学习
2025
《人类最后的考试》（HLE）
arXiv
《人类最后的考试》（HLE）是一个包含 2,500 道题、横跨数十个学科的多模态基准，由全球专家编写，目的是在旧基准被模型刷满之后，仍能测量前沿大模型的能力。
研究史多模态推理
2025
DeepSeek-R1：用强化学习激发大语言模型的推理能力
arXiv
DeepSeek-R1 报告介绍了如何主要依靠强化学习，并对正确答案给予奖励，训练出一个推理模型。它在数学、代码和推理基准上的表现与 OpenAI 的 o1 相当，权重也以开放形式发布。
大语言模型开源中国 AI
2024
《DeepSeek-V3 技术报告》
arXiv
DeepSeek-AI 发布的 DeepSeek-V3 技术报告，介绍了一个总参数 6710 亿的混合专家语言模型，涵盖架构、训练流程与评测，并给出了 278.8 万 H800 GPU 小时完成全部训练的效率数据。
大语言模型开源中国 AI
2024
《FrontierMath：评估 AI 高级数学推理能力的基准》
arXiv
FrontierMath 是由 Epoch AI 推出的数学基准，包含数百道由专家数学家撰写与审核的原创高难度题目，用来考察 AI 的高级数学推理能力。发布时，最先进的模型解出的题目不足 2%。[^1][^2]
研究史推理科学发现
2024
《SAM 2：在图像与视频中分割一切》
arXiv
SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。
研究史深度学习多模态
2024
《Llama 3 模型群》
arXiv
Meta 2024 年的论文，把 Llama 3 描述为一组基础模型（80 亿、700 亿和 4050 亿参数），预训练语料约 15 万亿 token，并报告其在广泛任务上与 GPT-4 等领先模型质量相当。
大语言模型研究史开源
2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
研究史深度学习开发者工具