首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 26 · 清除筛选
- 2026
- 2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
- 2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
- 2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
- 2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
- 2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
- 2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
- 2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
- 2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
- 2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
- 2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
- 2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
- 2021
- 2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
- 2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
- 2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
- 2019
用统一的文本到文本 Transformer 探索迁移学习的极限（T5）
JMLR
Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。
- 2018
BERT：用于语言理解的深度双向 Transformer 预训练
NAACL
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
- 2018
通过生成式预训练提升语言理解（GPT）
OpenAI
OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
- 2017
Attention Is All You Need（注意力就是你所需要的）
NeurIPS
2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。