论文

共 31 · 清除筛选

1. 2016

   谷歌神经机器翻译系统：弥合人与机器翻译的差距

   arXiv

   2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。

   研究史深度学习Transformer 与注意力

2. 2016

   WaveNet：原始音频生成模型

   arXiv

   WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。

   深度学习多模态生成式模型

3. 2014

   Neural Machine Translation by Jointly Learning to Align and Translate（联合学习对齐与翻译的神经机器翻译）

   ICLR

   Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。

   大语言模型研究史深度学习

4. 2014

   生成对抗网络

   arXiv

   Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。

   研究史深度学习生成式模型

5. 2013

   自编码变分贝叶斯

   arXiv

   Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。

   研究史深度学习生成式模型

6. 2010

   使用均值-协方差受限玻尔兹曼机进行音素识别

   NIPS

   2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。

   研究史深度学习生成式模型

7. 2006

   深度信念网络的快速学习算法

   Neural Computation

   2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。

   研究史深度学习生成式模型

8. 2003

   潜在狄利克雷分配（LDA）

   JMLR

   一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。

   研究史生成式模型数据与数据集

9. 1990

   大象不下棋

   Rodney Brooks 在 1990 年的这篇论文中主张从底层出发造人工智能：把与环境持续进行的物理互动当作设计智能系统的主要约束，而不是沿用此前约三十年主导领域的抽象符号操作。

   研究史机器人科学发现

10. 1988

    《ALVINN：神经网络中的自主陆地车辆》

    ANIPS11

    ALVINN 是一个三层反向传播网络，以摄像头与激光测距仪的图像为输入、输出车辆应行驶的方向，用模拟道路图像训练，并在卡内基梅隆大学的自主导航测试车上做了验证。

    研究史机器人计算机视觉

11. 1985

    《玻尔兹曼机的一种学习算法》

    Cognitive Science 9

    1985年，Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文，提出一种修改连接强度的通用学习规则，并用简单例子展示网络能从样本中形成结构高效的内部表示。

    研究史生成式模型科学发现