首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 23 · 清除筛选
- 2026
《Muse Spark 安全与准备度报告》
arXiv
Meta 为 Muse Spark（Meta AI 的底层模型）发布的安全与准备度报告，交代了支撑其发布决策的灾难性风险评估，并论证在施加缓解措施后残余风险可接受。
- 2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
- 2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
- 2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
- 2022
Constitutional AI: Harmlessness from AI Feedback（宪法式 AI：基于 AI 反馈的无害性）
arXiv
《宪法式 AI》是 Anthropic 2022 年的论文，提出以书面原则和 AI 反馈代替人工标注有害输出，训练无害的助手。
- 2022
《语言模型整体评估》（HELM）
arXiv
2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。
- 2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
- 2022
用人类反馈训练语言模型遵循指令（InstructGPT）
NeurIPS
InstructGPT 结合人工撰写的示范回答、人类对输出的排序和强化学习，让 GPT-3 更好地遵循用户指令。即使模型小得多，标注员也更偏好它的输出。
- 2022
用深度强化学习控制托卡马克等离子体的磁场
Nature
2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
- 2021
- 2021
《论随机鹦鹉的危险：语言模型会不会太大？》
FAccT '21
一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。
- 2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
- 2020
- 2019
《Megatron-LM：用模型并行训练数十亿参数的语言模型》
arXiv 1909.08053
NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。
- 2019
语言模型是无监督的多任务学习者（GPT-2）
OpenAI
OpenAI 在 2019 年发表的 GPT-2 论文，模型拥有 15 亿参数。研究表明，仅训练预测下一个词的模型在提示下就能完成多种任务，其分阶段发布也引发了关于是否公开强大模型的讨论。
- 2017
从人类偏好中进行深度强化学习
NeurIPS
2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。
- 2012
大规模分布式深度网络
NeurIPS
2012 年 NIPS 论文，提出可在数千台机器集群上训练深度网络的 DistBelief 框架，以及 Downpour SGD 和 Sandblaster 两种优化过程。
- 2012
ImageNet Classification with Deep Convolutional Neural Networks（用深度卷积神经网络做 ImageNet 分类）
NeurIPS
2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。
- 2011
Torch7：类 Matlab 的机器学习环境
2011 年的一篇 workshop 论文，介绍 Torch7：一个扩展 Lua 的数值计算框架与机器学习库，用轻量脚本语言换灵活性，用底层优化内核换速度。
- 2010
理解深度前馈神经网络训练的困难
AISTATS / PMLR
这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。