首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 80 · 清除筛选
- 2026
- 2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
- 2025
《Common Pile v0.1：8TB 公共领域与开放许可文本数据集》
arXiv
一个 8TB 的公共领域与开放许可文本数据集，用于大语言模型预训练；作者同时发布两个在该数据上训练的 70 亿参数模型，用以证明这批数据够用。
- 2024
《FrontierMath：评估 AI 高级数学推理能力的基准》
arXiv
FrontierMath 是由 Epoch AI 推出的数学基准，包含数百道由专家数学家撰写与审核的原创高难度题目，用来考察 AI 的高级数学推理能力。发布时，最先进的模型解出的题目不足 2%。[^1][^2]
- 2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
- 2024
《FineWeb 数据集：大规模网络文本的精炼》
arXiv
FineWeb 是从 96 个网络快照构建的 15 万亿 token 预训练数据集，公开了处理代码与实验模型；教育子集 FineWeb-Edu 在知识推理基准上表现更好。
- 2024
Accurate structure prediction of biomolecular interactions with AlphaFold 3
Nature
AlphaFold 3 于2024年5月发表于《自然》，把结构预测扩展到生物分子相互作用，在蛋白质—配体结合上准确率高于对接工具，抗体—抗原预测高于 AlphaFold-Multimer v.2.3。
- 2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
- 2024
《Dolma：面向语言模型预训练研究的三万亿词元开放语料库》
arXiv
Dolma 是一个公开发布的英文语料库，规模约三万亿词元，由网页文本、论文、代码、书籍、社交媒体与维基百科混合而成；配套论文同时记录了数据集本身和整理流程。
- 2023
Scaling deep learning for materials discovery
Nature
2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。
- 2023
《GPQA：研究生级防搜索问答基准》
arXiv
GPQA 是包含 448 道选择题的问答基准，题目由生物学、物理学和化学专家撰写，设计成熟练非专家靠上网也答不出；基于 GPT-4 的最强基线正确率只有 39%，而同领域专家达到 65%。
- 2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
- 2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
- 2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
- 2023
《Segment Anything（分割一切）》
arXiv 2304.02643
这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。
- 2023
RedPajama：LLaMA 训练数据集的开源复现
Together AI blog / GitHub
RedPajama 是一个开源项目，第一步是把 LLaMA 的训练数据集复现出来，以「洁净室」方式完整开源了 1.2 万亿 token 的语料。
- 2022
Learning skillful medium-range global weather forecasting
Science
GraphCast 是一个基于图神经网络的全球天气模型，用四十年的再分析资料训练，能在不到一分钟内给出 0.25 度分辨率、未来 10 天的全球预报，并在多数检验指标上超过当时最准确的业务确定性预报系统。
- 2022
《语言模型整体评估》（HELM）
arXiv
2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。
- 2022
LAION-5B：面向下一代图文模型的开源大规模数据集
arXiv
LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。
- 2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。