论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 199

2021
《用潜空间扩散模型进行高分辨率图像合成》
arXiv 2112.10752 (CVPR 2022)
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
研究史生成式模型图像生成
2021
《训练验证器求解数学应用题》（GSM8K）
arXiv
GSM8K 是 OpenAI 发布的一套小学数学应用题数据集，包含 8.5K 道题；配套论文显示，即使最大的 Transformer 模型成绩也不高，而训练验证器、从多个候选解答中挑选正确答案能明显提升表现。
大语言模型研究史推理
2021
《微调后的语言模型是零样本学习器》（FLAN）
arXiv 2109.01652
2021 年的一篇论文提出「指令微调」：把大量任务用自然语言指令描述后再微调语言模型，模型在没见过的任务上零样本表现大幅提升，并在多数评测任务上超过更大的模型。
大语言模型研究史推理
2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
大语言模型研究史数据与数据集
2021
用 AlphaFold 实现高精度蛋白质结构预测
Nature
Nature 论文介绍了 AlphaFold 用于蛋白质结构预测的方法、系统设计和评估。
研究史科学发现生物医药
2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
大语言模型研究史数据与数据集
2021
《LoRA：大语言模型的低秩适配》
arXiv
LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。
大语言模型研究史开发者工具
2021
《用 MATH 数据集测量数学问题求解》
arXiv
MATH 是包含 12,500 道高难度竞赛数学题的数据集，每题附完整分步解答，于 2021 年发布，用于测量和训练模型的数学推理能力。
大语言模型研究史推理
2021
《论随机鹦鹉的危险：语言模型会不会太大？》
FAccT '21
一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。
大语言模型研究史安全与治理
2021
《零样本文生图》（DALL·E 论文）
arXiv
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
研究史多模态生成式模型
2021
《Switch Transformers：用简单高效的稀疏性扩展到万亿参数模型》
arXiv
2021 年，Fedus、Zoph 与 Shazeer 简化了混合专家模型的路由算法，使语言模型在参数量扩展到万亿级别时，每个样本的计算开销仍然保持恒定。
大语言模型研究史深度学习
2021
从自然语言监督中学习可迁移的视觉模型（CLIP）
ICML
CLIP 是 OpenAI 用 4 亿对图文数据训练的模型，把图像与文字映射到同一个空间，因此能凭一句文字提示直接完成图像分类。
基础模型多模态计算机视觉
2020
The Pile：用于语言建模的 800GB 多样化文本数据集
arXiv
The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。
大语言模型研究史开源
2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
研究史深度学习计算机视觉
2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
研究史计算机视觉 Transformer 与注意力
2020
《测量大规模多任务语言理解》（MMLU）
arXiv
2020 年发布的一个评测基准，用 57 个学科（从初等数学到法律）的题目考察语言模型，结果显示当时最大的模型也远未达到专家水平。
大语言模型研究史推理
2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
大语言模型研究史开发者工具
2020
去噪扩散概率模型（DDPM）
NeurIPS
2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
深度学习生成式模型图像生成
2020
语言模型是少样本学习者（GPT-3）
NeurIPS
GPT-3 论文表明，一个拥有 1750 亿个参数的语言模型，只要在提示词（prompt）里给出几个例子，就能完成许多任务，无需额外微调；而且这种能力随模型规模增大而增强。
大语言模型基础模型
2020
《面向知识密集型 NLP 任务的检索增强生成》（RAG）
arXiv
2020 年的一篇论文，把预训练的序列到序列模型与一个由神经检索器查询的维基百科稠密向量索引结合起来，在三个开放域问答任务上取得当时最好成绩。
大语言模型研究史智能体与工具调用