第四节信息论
20世纪中叶，伴随着电子通讯技术的迅速发展，人们开始把信息和通讯问题当作科学研究的对象。1948年，美国贝尔实验室的数学家申农（1916一）发表名著《通信的数学理论》，为信息科学的发展奠定了理论基础，同时推广了信息概念，并逐步形成了与相对论、量子力学一样具有基础理论意义的、应用广泛的信息论。
一、信息技术的发展
古代人在交流思想和生存的合作与竞争中创造了语言、文字、以及手语和旗语。为了传递信息，古人使用奔马、弓箭、飞鸽、狼烟、烽火和灯光等手段，而记录、存储信息方面则有石刻、竹简、甲骨文、纸张和印刷术等。这些技术沿用了数千年。
通讯技术在进入19世纪后才在科学的意义上进行研究。19世纪初，欧洲科学家开始进行电磁学的实验研究和理论探索，与此同时利用电流和电磁波进行通讯也逐渐展开，其间，伴随着一系列重要的科学、技术发明和工程成就。1820年，德国物理学家奥斯特（1777—1851）发现了电磁感应原理，这是一个重要发现，它首次在电现象与磁现象之间建立起密切联系。1833年高斯（1777—1855）和韦伯（1804—1891）根据电磁感应原理制成了第一台电报机，并架设了连接大学校园中从天文台到物理实验室之间的电报线。1837年，惠斯顿（1802—1875）发明五针电报机，并在英国的恩斯顿和肯顿之间架设起第一条商用电报线。
1844年，美国画家摩尔斯（1791—1872）发明编码电报系统，并在华盛顿和巴尔的摩两座城市之间进行实用通讯。1850年第一条跨越英吉利海峡的海底电报电缆铺设成功。1872年，可以在两端同时进行收发报操作的双工电报系统被发明。1876年，美国人贝尔（1847一1922）和格雷（1835一1901）分别独立地发明电磁型受话器，这就是我们今天广泛使用的电话。1877年发明家爱迪生（1847—1931）改进了可变电阻式送话器，同年休斯（1831—1900）发明接触电阻型受话器，大大改进了电话系统的通讯质量。1891年发明始端桥式电话自动交换机系统，1899年普平发明加电感线圈以减少话音损失的加载传输方式，为电话系统大规模应用奠立实用基础。至此，有线电报和电话通信的主要技术都已具备。
在无线电通讯方面，1889年赫兹（1857—1894）用实验证实麦克斯韦电磁理论所预言的电磁波存在，这一验证具有理论和实践双重意义：它证明了经典电动力学理论的正确性，同时预示，赫兹在实验中使用的装置具有实用价值。1894.年英国人洛奇（1851一1940）发明金属检波器，它使从无线电波中检拾有用信息成为可能。1895年，意大利工程师马可尼（1874—1937）和俄罗斯的波波夫发明无线电报，开创了人类文明无线电通讯时代。1897年英国设立马可尼无线电信公司，1907年英国和加拿大之间开设无线电报业务，1909年英国人巴克在伦敦和巴黎之间实现无线电传真，无线电通讯开始进入实用和商业运行。1910年美国人费森登发明调制无线电波收发技术并开始应用于无线电广播，1911年迈斯纳提出无线电导航原理，1913年德国人科恩用无线电从柏林向巴黎传送图像，1916年美国电报电话公司完成跨大西洋的无线电话试验，1925年短波无线电发送在英国获得成功，1929年法国人克拉维开始进行微波通讯计划，1931年美国哥伦比亚公司试验播出电视节目，1932年南非的业余无线电爱好者提出沿用至今的超外差式无线电讯号接受原理，1935年英国制造第一台脉冲雷达，1940年美国开始播送彩色电视节目，1941年美国开始调频广播，1943年德国人运用雷达操纵火箭，1944年美国人德克雷尔发表电子控制机械的理论和设计方案，1945年美国莫奇利和埃克特研制成功世界上第一台通用电子计算机，同年英国人克拉克提出卫星通讯的设想。
总的来说，到20世纪40年代，除计算机网络通讯技术之外，我们今天熟知的所有通讯原理和技术都已经发明出来。
二、信息处理中的核心问题
以上所有的技术发明和理论研究为信息论的提出做好了准备。与其他领域的科学技术发展情况不同，信息论并不是自发地成长于人们的对自然事物的观察、思考和体验，而是来源于现代科学技术的实践，通讯技术是信息理论的基础。
通讯技术的发展线索是从有线到无线、从音符到图像、从单媒体到多媒体，其中的核心问题是“编码一解码”和“调制一解调”的理论原理和技术实施。“编码一解码”是一种符号变换技术，它以数学为基础，它的物理和技术实现则表现为电子技术上的“调制一解调”。美国画家兼发明家摩尔斯发明的电报编码就是理论与技术实践相结合产物，是通向现代信息论的第一个里程碑。摩尔斯电码用“点”和“划”来表示英文字母和数字，是人们最初掌握的信息编码原理。摩尔斯于1832年做出这项发明，1840年他在美国电磁学家亨利的帮助下又发明了把这一编码原理付诸实施的技术设备电报机，并获得这项发明的专利。1844年摩尔斯的发明在巴尔的摩和华盛顿之间得到商业实用。摩尔斯拍发的第一封电文是“上帝创造了何等奇迹！”这一发明意味着人类掌握了一种超民族语言，一种表达信息的共同方式，而这种表达方式可以由电子技术来实现。
随后的进展主要涉及电子技术领域中的问题。1924年，尼奎斯特和屈普夫米勒发现信号传输的频带宽度对信号的传输速率有限制，1928年哈特利发现传输的信息量等于频带宽度与时间的乘积，1936年阿姆斯特朗发现增加频带宽度可以抑制信号传输中不可避免的噪声，1937年法国人里夫提出编码通信原理，英国人沃斯发明脉冲编码调制原理和方式，至此，编码一解码和调制一解调这两大核心问题以及信息传输过程中的效率和可靠性问题都得到了基本解决。这些问题的解决，也为信息论中的信息编码理论奠定了概念基础。
1927年，冯·诺依曼（1903—1957）提出有序量的熵公式（他还对量子力学的公理化表述做出重要贡献），1945年，量子物理学家薛定谔发表《生命是什么？》一书，提出生命负熵概念，同年，海明提出编码可靠函数，英国统计学家费舍尔发展出预测统计学，所有这些构成了申农的通讯的数学理论的基础和前驱。
三、申农的信息论
申农在1948年发表论文《通信的数学理论》，其主要内容是：
1）建立了一个由“信源一信道一信宿”组成的信息传递系统的模型；
2）把信源作为概率统计过程进行模型化处理；
3）通过规定系统的熵函数给出信息量的定义；
4）推导出有关信源符号化和信道符号化以及信道容量相等的基本定理；
5）论证了不减低传递速度而提高传输可靠性的可能性；
6）提出连续信源的保真度评价标准，信息传递速度的最低限度，数据压缩理论。
申农的这篇论文是有关通讯工程的经典文献，它为当时正迅速发展的电子通讯技术提供了理论指导，也奠定了后来整个信息科学的长足发展的理论基础。时至今日，申农的理论仍然是信息科学中最重要基础理论。