首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 199
- 2024
《FineWeb 数据集：大规模网络文本的精炼》
arXiv
FineWeb 是从 96 个网络快照构建的 15 万亿 token 预训练数据集，公开了处理代码与实验模型；教育子集 FineWeb-Edu 在知识推理基准上表现更好。
- 2024
《τ-bench：真实领域中的工具-智能体-用户交互基准》
arXiv
τ-bench 是 2024 年 6 月提交到 arXiv 的基准，用语言模型模拟用户，与配备领域 API 工具和规则条文的语言智能体进行动态对话，并以对话结束时的数据库状态而非回复文本判定成败。
- 2024
- 2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
- 2024
Accurate structure prediction of biomolecular interactions with AlphaFold 3
Nature
AlphaFold 3 于2024年5月发表于《自然》，把结构预测扩展到生物分子相互作用，在蛋白质—配体结合上准确率高于对接工具，抗体—抗原预测高于 AlphaFold-Multimer v.2.3。
- 2024
《OSWorld：真实计算机环境中开放式任务的多模态智能体基准》
arXiv
OSWorld 是一个面向多模态智能体的基准与环境，在 Ubuntu、Windows 和 macOS 上用 369 个真实计算机任务考察智能体；人类能完成 72.36% 以上，最好的模型只有 12.24%。
- 2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
- 2024
《Gemini 1.5：在数百万 token 的上下文中释放多模态理解》
arXiv
Google Gemini 团队的一份报告，介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列，其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1]
- 2024
《Dolma：面向语言模型预训练研究的三万亿词元开放语料库》
arXiv
Dolma 是一个公开发布的英文语料库，规模约三万亿词元，由网页文本、论文、代码、书籍、社交媒体与维基百科混合而成；配套论文同时记录了数据集本身和整理流程。
- 2024
《专家模型 Mixtral》
arXiv
Mixtral 8x7B 是 Mistral AI 的稀疏专家混合语言模型，每层由路由器为每个词元挑选 2 个专家，总共可访问 47B 参数，推理时只用到 13B。
- 2023
《Mamba：带选择性状态空间的线性时间序列建模》
arXiv
Mamba 是 Albert Gu 与 Tri Dao 提出的一种序列建模架构，用选择性状态空间替代注意力，实现线性时间与更快推理，语言建模表现可与两倍规模的 Transformer 相比。
- 2023
Scaling deep learning for materials discovery
Nature
2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。
- 2023
- 2023
《GPQA：研究生级防搜索问答基准》
arXiv
GPQA 是包含 448 道选择题的问答基准，题目由生物学、物理学和化学专家撰写，设计成熟练非专家靠上网也答不出；基于 GPT-4 的最强基线正确率只有 39%，而同领域专家达到 65%。
- 2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
- 2023
《WebArena：构建自主智能体的真实网络环境》
arXiv
WebArena 是可复现的网页环境，含电子商务、社交论坛、协作软件开发、内容管理四类网站，用于测试语言引导的智能体；GPT-4 智能体成功率 14.41%，人类 78.24%。[^1]
- 2023
《Llama 2：开放的基础模型与微调对话模型》
arXiv 2307.09288
这是一篇 2023 年 7 月由 Hugo Touvron 领衔、Meta 多位作者完成的论文，提出并发布了参数量从 70 亿到 700 亿的 Llama 2 系列预训练与微调模型，并详细说明了对话版本如何微调、如何提升安全性。
- 2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
- 2023
《直接偏好优化：你的语言模型其实是一个奖励模型》
arXiv 2305.18290
2023 年的一篇论文把人类反馈强化学习的优化目标改写成一个简单的分类损失，让语言模型不必依赖独立的奖励模型和强化学习就能对齐人类偏好。
- 2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。