「深度学习」一词在 2006 年后开始流行

同一个词，不止一个起点

「深度学习」（deep learning）今天既是一个庞大的研究领域，也是相当一部分计算产业的代称。但这个说法并不是由某一篇论文一次性确立的。在它稳定为今天的含义之前，同样的词曾在不同的研究共同体里被使用，指的东西也不完全一样。

Hinton 在 2015 年的回顾

2015 年 3 月，Geoffrey Hinton 在 Connectionists 邮件列表中发了一个帖子，简短梳理了这个词的来历。他写道，「深度学习」这个术语当下的流行，始于 2006 年的论文《A fast learning algorithm for deep belief nets》，作者是 Hinton、Osindero 和 Teh ^[1]。按他的说法，那篇论文之后，围绕深度信念网（deep belief net）出现了大量讨论；深度信念网是一类多层神经网络 ^[1]。

从「深度信念网」到「深度学习」

Hinton 写道，大约在 2007 年，「深度信念网」这个说法开始被相当宽松地用来指那些经过预训练、被当作深度信念网使用的深度神经网络 ^[1]。用词之所以发生这种漂移，是因为这类网络确实好用：它们被用来构造效果良好的声学模型（acoustic model），也就是语音识别系统中把一小段音频映射到候选音素上的部件，而这项工作促使神经网络重新进入主流的语音识别系统 ^[1]。一个研究共同体往往更容易接受一个名字——当被命名的东西正在产出它能用得上的结果时。

区分出现，预训练退场

Hinton 提到，后来人们把深度信念网本身，与「以深度信念网方式初始化」的深度神经网络明确区分开来。再往后，研究者发现，在有大规模数据集和合理的初始权重尺度的条件下，预训练（pre-training）根本不再需要 ^[1]。这里的预训练指的是：在正式训练之前，先用一个较早的训练阶段给网络一组起始权重；当数据和初始化都足够好时，这个先发的起点就可以省去。换句话说，这个词活得比让它流行起来的那项技术更久。

同样的两个词，更早的一次使用

2015 年的那串讨论还往前追了一段。它指出 Rina Dechter 1986 年的 AAAI 论文是这个说法的一个早期来源，其中「deep learning as compared to shallow learning」是约束满足（constraint satisfaction）研究中使用的术语 ^[1]。2025 年的一篇同行评审综述走得更远，称 Dechter 在 1986 年把「深度学习」一词引入了机器学习共同体 ^[2]，而 Igor Aizenberg 及其同事在 2000 年把这个词用到了人工神经网络上 ^[2]。

这段历史说明了什么

由此可以看到两点。第一，「深度学习」并非在某一个地方、某一个时刻被凭空造出来的：同样的两个词早就在约束满足研究中使用，之后才被接到神经网络上，而 Hinton 把其当下流行的起点定在 2006 年那篇论文 ^[1][2]。第二，这个词的兴起跟随的是有用性，而不是争论：语音识别给了它立足点；而按 Hinton 本人的说法，最初引来注意的预训练后来变得不再必要，名字却留了下来 ^[1]。一个原本用来描述某种训练程序的说法，最终成了一个领域的名称。