《通信的数学理论》

问题

论文开头把通信问题收得很窄：通信的基本问题，是在一点精确或近似地复现另一点选定的消息^[2]。这个定义刻意排除语义：通信的语义方面与工程问题无关，重要的是实际消息是从一组可能消息中选出的那一个^[2]。这样一来，通信就变成统计问题：信源不是固定意义的序列，而是从可能集合中不断做出选择；工程师可以问有多少种可能消息、各自概率如何、接收端能多准确地恢复。

引言还交代背景：PCM 与 PPM 这类以带宽换取信噪比的调制方法的发展，使人们对一般通信理论更感兴趣^[2]。论文说，这种理论的基础已包含在 Nyquist 和 Hartley 的论文中，而本文把理论扩展到信道噪声的影响、利用原始消息统计结构可节省的部分，以及信息最终目的地的性质^[2]。因此范围不只是无噪声信道或固定信源：噪声、信源统计和目的地都进入同一个框架。

度量与容量

论文采用对数式的信息度量^[2]。若以2为底，所得单位可称为二进制数字（binary digits），更简短的说法是比特（bits），这个词由 J. W. Tukey 建议^[2]。对数尺度使独立选择合并时信息量自然相加，以2为底则让单位对应一次二选一。论文把离散信道（discrete channel）的容量 C 定义为：当时间增长时，该时长内允许信号数目的对数除以时长所得的极限^[2]。换句话说，容量是一个速率，描述信道在长时间意义上每单位时间能承载多少可区分信号；它不是某一条消息的属性，而是信道所允许的信号集合的属性。

熵

论文还给出概率集合的一般度量。附录2中的定理2表明，满足文中三条假设的函数 H 只能取 H = −K Σ p_i log p_i 的形式^[2]。论文把 H = −Σ p_i log p_i 称为该概率集合的熵（entropy）^[2]，并指出同一形式出现在统计力学中，那里的 H 就是玻尔兹曼 H 定理中的 H^[2]。这是一种数学形式上的对应，不是说通信与热力学是同一门学科。这里的熵度量概率集合的不确定性，也是论文用来讨论“利用原始消息统计结构可节省多少”的量。

发表与重要性

论文由 C. E. Shannon 撰写，发表在《贝尔系统技术杂志》（The Bell System Technical Journal）第27卷，第379至423页和第623至656页，分别于1948年7月和10月刊出^[1]。它的重要性在于各部分扣在一起：消息是从集合中选出的^[2]；信息用对数度量，以2为底时单位为比特^[2]；信道有按长时间速率定义的容量^[2]；概率集合有 −Σ p_i log p_i 形式的熵^[2]。这些定义让噪声、信源统计和目的地可以在同一个工程问题中处理，而不是各自作为孤立的实际困难^[2]。语义内容被有意放在一边^[2]，理论因此可以一般地适用于不同种类的消息。论文的贡献正是这种组合：一套紧凑的数学词汇，用来问能传多少、能多可靠地传，以及信源的结构能省下多少。