首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 50 · 清除筛选
- 2026
- 2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
- 2025
《Common Pile v0.1：8TB 公共领域与开放许可文本数据集》
arXiv
一个 8TB 的公共领域与开放许可文本数据集，用于大语言模型预训练；作者同时发布两个在该数据上训练的 70 亿参数模型，用以证明这批数据够用。
- 2024
《FineWeb 数据集：大规模网络文本的精炼》
arXiv
FineWeb 是从 96 个网络快照构建的 15 万亿 token 预训练数据集，公开了处理代码与实验模型；教育子集 FineWeb-Edu 在知识推理基准上表现更好。
- 2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
- 2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
- 2024
《Dolma：面向语言模型预训练研究的三万亿词元开放语料库》
arXiv
Dolma 是一个公开发布的英文语料库，规模约三万亿词元，由网页文本、论文、代码、书籍、社交媒体与维基百科混合而成；配套论文同时记录了数据集本身和整理流程。
- 2023
Scaling deep learning for materials discovery
Nature
2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。
- 2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
- 2023
《Segment Anything（分割一切）》
arXiv 2304.02643
这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。
- 2023
RedPajama：LLaMA 训练数据集的开源复现
Together AI blog / GitHub
RedPajama 是一个开源项目，第一步是把 LLaMA 的训练数据集复现出来，以「洁净室」方式完整开源了 1.2 万亿 token 的语料。
- 2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
- 2022
《语言模型整体评估》（HELM）
arXiv
2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。
- 2022
LAION-5B：面向下一代图文模型的开源大规模数据集
arXiv
LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。
- 2022
训练计算最优的大语言模型（Chinchilla）
NeurIPS
DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。
- 2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
- 2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
- 2020
The Pile：用于语言建模的 800GB 多样化文本数据集
arXiv
The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。
- 2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
- 2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。