论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 199

2018
组归一化
arXiv
组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。
研究史深度学习科学发现
2018
深层语境化词表示（ELMo）
arXiv
这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。
研究史深度学习基础模型
2018
通用语言模型微调（ULMFiT）
arXiv
ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。
研究史深度学习基础模型
2017
A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play
Science
2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。
研究史深度学习科学发现
2017
神经离散表示学习（VQ-VAE）
arXiv
这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。
研究史生成式模型图像生成
2017
渐进式增长 GAN：提升质量、稳定性与多样性
arXiv
2017 年的一篇论文提出渐进式增长训练法：生成器与判别器从低分辨率开始逐层加深，使 GAN 训练更稳定、图像质量与多样性更高。
生成式模型计算机视觉图像生成
2017
mixup：超越经验风险最小化
arXiv
mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。
研究史深度学习科学发现
2017
Mastering the game of Go without human knowledge
Nature
DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。
研究史深度学习推理
2017
用于密集目标检测的焦点损失
arXiv
2017年论文，作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡，并提出降低已分类良好样本损失权重的焦点损失。
研究史深度学习计算机视觉
2017
Proximal Policy Optimization Algorithms
arXiv
2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。
研究史深度学习机器人
2017
从人类偏好中进行深度强化学习
NeurIPS
2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。
大语言模型研究史安全与治理
2017
Attention Is All You Need（注意力就是你所需要的）
NeurIPS
2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。
大语言模型研究史深度学习
2017
用循环一致性对抗网络做无配对图像转换（CycleGAN）
arXiv
CycleGAN 在没有配对样本的情况下学习两个图像域之间的转换，用对抗损失匹配目标分布，并加入循环一致性约束来限制映射。
生成式模型计算机视觉图像生成
2017
Mask R-CNN
arXiv
Mask R-CNN 是 2017 年提出的物体实例分割框架，在检测物体的同时为每个实例生成高质量掩码，通过给 Faster R-CNN 增加并行掩码分支实现。
研究史深度学习计算机视觉
2016
用强化学习做神经架构搜索
arXiv
2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。
研究史深度学习推理
2016
谷歌神经机器翻译系统：弥合人与机器翻译的差距
arXiv
2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。
研究史深度学习 Transformer 与注意力
2016
WaveNet：原始音频生成模型
arXiv
WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。
深度学习多模态生成式模型
2016
《SQuAD：10 万+文本机器理解问题》
arXiv
SQuAD 是一个阅读理解数据集，包含 10 万多个由众包工人针对维基百科文章提出的问题，每个问题的答案都是原文中的一段文字。它于 2016 年发布，免费开放，并给出了可对照的人类成绩上限。
大语言模型研究史数据与数据集
2016
深度残差网络中的恒等映射
arXiv
论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。
研究史深度学习科学发现
2016
Mastering the game of Go with deep neural networks and tree search（用深度神经网络和树搜索掌握围棋）
Nature
2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。
研究史深度学习推理