信息论

是什么

信息论把信息当作一种可以度量、编码和传输的量来研究，而不去追问它的意义。它的奠基文献是香农（Shannon）1948 年的论文《通信的数学理论》（A Mathematical Theory of Communication），发表在《贝尔系统技术期刊》上。^[1] 论文给通信的基本问题下了一个刻意狭窄的定义：在一点精确地或近似地复现另一点所选取的消息。^[1]

这个定义有一个乍看反直觉的推论：消息的语义方面与工程问题无关，要紧的是消息取自一个可能消息的集合。^[1] 如果接收方事先就知道会来哪条消息，那就没有什么需要传输；信息藏在「集合里究竟选中了哪一条」的不确定性之中。信息论因此先把意义放在一边，只问两件事：信源提供了多少个备选项，信道能多可靠地把其中某一个送过去。

怎么工作

信息在对数尺度上度量，以 2 为底的单位叫作比特（bit），这个词是 J. W. Tukey 建议的。^[1] 用对数有一个好处：相互独立的选择，其信息量是相加的，而不是相乘的。

核心的量是熵（entropy），记作 H，定义为一组概率中每个概率乘以该概率以 2 为底的对数，全部相加再取负号。^[1] 论文把它用作信息、选择与不确定性的度量。^[1] 举一个最小的例子：两种等可能的结果，熵是 1 比特；四种等可能的结果，熵是 2 比特；一个已经确定的结果，贡献为零。

消息里的统计结构是一种资源。论文说明了这样一件事：英文字母出现频率不同这类规律，可以通过编码加以利用，从而节省时间或信道容量。^[1] 给常见字母配短码、给罕见字母配长码，平均每个字母花的比特就比一视同仁地编码少；省下来的部分，正来自被粗糙方案忽略掉的那种结构。

对信道，论文用「允许的信号数目随时长增长的方式」来定义容量（capacity）C。^[1] 它还把噪声纳入理论之内，而不是把噪声当作需要另行处理的外部干扰。^[1] 信源、编码和信道于是被放进了同一套说法里。

从哪来

这套理论以 1948 年的一篇论文出现，并成为该领域的奠基文献。^[1] 它的新意不在于某个器件，而在于一组新的定义：信息的单位、信源不确定性的度量、信道的性质。这些名字一旦确定，关于通信的说法就可以用数字来讲。

今天用在哪里

凡是需要把消息从一处送到另一处的地方——导线、无线电链路、存储介质——都会碰上论文拆开的这几个问题：信源产生多少不确定性，信道能承载多少，一种编码要花多少代价。^[1] 论文最关键的一步，是把信息的度量与意义分开；正因为分开了，信息才成为工程上可以计算的量。^[1] 同一套定义也给表面上很不相同的方案提供了共同语言，因为每个方案都可以用消息的统计性质和信道的容量来描述。^[1]

局限

这套理论是有意把意义搁置在外的，因此一条消息是否真实、是否有用、是否好听，都不在它的范围内。^[1] 它带来的节省，取决于消息里确实存在可供利用的统计结构。^[1] 噪声也不是被消灭，而是被写进信道的模型里。^[1] 在这些边界之内，框架是精确的；出了边界，它什么也没有说。