首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 9 · 清除筛选
- 2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
- 2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
- 2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
- 2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
- 2021
- 2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
- 2011
Torch7：类 Matlab 的机器学习环境
2011 年的一篇 workshop 论文，介绍 Torch7：一个扩展 Lua 的数值计算框架与机器学习库，用轻量脚本语言换灵活性，用底层优化内核换速度。
- 2010
理解深度前馈神经网络训练的困难
AISTATS / PMLR
这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。
- 2004
MapReduce：大规模集群上的简化数据处理
OSDI
Google 的 Dean 与 Ghemawat 于 2004 年发表论文提出 MapReduce：用户只写 map 与 reduce 函数，系统自动在廉价机器集群上并行执行。