论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 199

2023
《Segment Anything（分割一切）》
arXiv 2304.02643
这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。
研究史数据与数据集计算机视觉
2023
RedPajama：LLaMA 训练数据集的开源复现
Together AI blog / GitHub
RedPajama 是一个开源项目，第一步是把 LLaMA 的训练数据集复现出来，以「洁净室」方式完整开源了 1.2 万亿 token 的语料。
大语言模型开源数据与数据集
2023
《通用人工智能的火花：GPT-4 早期实验》
arXiv
2023 年 3 月，微软研究者在一篇论文中测试了早期版本的 GPT-4，认为它在众多领域表现出惊人的通用性、接近人类水平，可被视为迈向通用人工智能（AGI）的早期但不完整的一步。
大语言模型研究史推理
2023
《GPT-4 技术报告》
arXiv 2303.08774
OpenAI 于 2023 年 3 月提交到 arXiv 的 GPT-4 技术报告，描述了一个大规模多模态 Transformer 模型，给出了多项专业基准上达到人类水平的结果，并说明了团队如何让规模化行为变得可预测。
大语言模型研究史多模态
2023
《LLaMA：开放高效的基础语言模型》
arXiv
LLaMA 是参数规模 7B 至 65B 的基础语言模型系列，仅用公开数据集训练；13B 模型在多数基准上超过 GPT-3，且全部模型向研究社区发布。
大语言模型研究史开源
2023
《Toolformer：语言模型能自学使用工具》
arXiv
2023 年的一篇论文，让语言模型自学决定何时调用计算器、搜索引擎等外部工具，并把返回结果融入后续文本生成。
大语言模型研究史智能体与工具调用
2022
Learning skillful medium-range global weather forecasting
Science
GraphCast 是一个基于图神经网络的全球天气模型，用四十年的再分析资料训练，能在不到一分钟内给出 0.25 度分辨率、未来 10 天的全球预报，并在多数检验指标上超过当时最准确的业务确定性预报系统。
深度学习科学发现仿真
2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
研究史生成式模型图像生成
2022
Constitutional AI: Harmlessness from AI Feedback（宪法式 AI：基于 AI 反馈的无害性）
arXiv
《宪法式 AI》是 Anthropic 2022 年的论文，提出以书面原则和 AI 反馈代替人工标注有害输出，训练无害的助手。
大语言模型研究史安全与治理
2022
《语言模型整体评估》（HELM）
arXiv
2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。
大语言模型研究史安全与治理
2022
LAION-5B：面向下一代图文模型的开源大规模数据集
arXiv
LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。
开源多模态数据与数据集
2022
《ReAct：语言模型中推理与行动的协同》
arXiv
ReAct 是一种提示方法：让语言模型把写出来的推理与调用外部工具或环境的行动交替进行，在问答、事实核查和交互式决策任务上都取得改进。
大语言模型研究史智能体与工具调用
2022
《大语言模型的涌现能力》
arXiv 2206.07682 (TMLR 2022)
2022 年的一篇论文提出，大语言模型的部分能力只在模型规模足够大时才出现，无法由小模型的表现外推预测，因此继续扩大规模可能继续拓展模型的能力范围。
大语言模型研究史推理
2022
《超越模仿游戏》（BIG-bench）
arXiv
BIG-bench 是一个由社区共同构建的大型基准，包含 204 个任务，专门用来测试语言模型在被认为超出其当前能力的问题上的表现，相关论文于 2022 年 6 月发布。
大语言模型研究史推理
2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
研究史深度学习开发者工具
2022
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
arXiv
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
研究史多模态生成式模型
2022
训练计算最优的大语言模型（Chinchilla）
NeurIPS
DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。
大语言模型基础模型数据与数据集
2022
用人类反馈训练语言模型遵循指令（InstructGPT）
NeurIPS
InstructGPT 结合人工撰写的示范回答、人类对输出的排序和强化学习，让 GPT-3 更好地遵循用户指令。即使模型小得多，标注员也更偏好它的输出。
大语言模型安全与治理
2022
用深度强化学习控制托卡马克等离子体的磁场
Nature
2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
深度学习硬件与算力科学发现
2022
思维链提示激发大语言模型的推理能力
NeurIPS
这篇论文由 Jason Wei 与 Google Research 的同事在 2022 年发表，它表明：在提示中给出带有中间推理步骤的示例、而不只是给出答案，能明显提升大模型在算术、常识和符号推理任务上的表现。
大语言模型推理