信息论的产生与发展概况

信息论有狭义和广义的区别。狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学，它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体，以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的，其主要内容就是研究信源、信宿、传递及编码问题，因此它主要应用于通讯工作。后来信息论发展很快，将申农氏信息论的观点做为研究一切问题的理论，即广义信息论。信息论是建立在信息基础上的理论，所谓信息，即人类凭借感觉器官感知的周围一切变化，都可称作信息。

实践证明，世界上一切事物都在运动变化之中，在这种运动和变化之过程中，就会发出各种各样的信息，内部的变化可以反映到外部，外部的表现反映内在的实质；整体的变化可以反映于局部，局部的变化影响整体。人类在世界上生存，就必须认识信息、利用信息，否则就无法生存，例如预防和躲避自然灾害、发明创造工具、发展生产、科学试验等等，都是受某些信息的启示。战争更离不开信息，例如我国周代已利用烽火台传递战争的信息。凡此种种，一言以蔽之，从有人类的那一天开始，人类就生活在信息的海洋里，一时一刻也离不开信息，而关键的问题就是如何认识信息，利用信息，以改变自己的生存条件、创造更好的生活环境。人类正是根据世界环境的变化，由大脑作出调整自己行动的方式，改变自己与自然界斗争的策略，因此人类始终着眼于信息，信息论的观点就是把人作用于外界的行为归纳为信息和信息的反馈过程，人类所以能够保证正常的生活状态，不断地改善生活条件，就是人类具有取得、使用、保持和传递信息的能力，这种认识和利用信息的能力和其他问题一样，都是从简单到复杂，从表面到深入，不断地向信息的深度和广度进军。

人类有获取信息的权力，但信息并不为人类所独享，其他生物也同样有认识和利用信息的本能，俗话说“人有人言，兽有兽语”，就是这个意思。其他如某些动物的保护色，猎取食物等等，都是认识信息、利用信息的表现。植物也有自己的信息感，如生物钟，实际上也是对信息的反映。因此可以说，世界上一切生物无不与信息有关，所不同的，即人类对信息的认识和利用要比其他生物更广泛、更深人，并引进创造的航船，而其他生物仅仅为了生存面已。

人类需要信息，而且还要传递信息，语言的作用就是传递信息，也是最好的信息传递方法，但是语言因受距离的限制，超出声音的可达范围即失去传递的作用，又易受外界噪音的干扰，于是人类又发明了文字，文字也是传递信息的一种方式，但亦有一定的局限性，因而人类叉不断地创造许许多多的信息传递方法。传递信息的目的是为了做出合理的决策，尽管人类对信息的认识、利用源远流长，即信息反馈。但真正对信息理论的研究，仅仅只有半个多世纪的历程，其突破点首先是从信息传递方法开始的。1922年卡橙阐明了边带问题理论，提出信号保护法则，即信号在调制（编码）过程中频谱展宽法制。可以说是信息论的先导。

1921年美国奈奎斯特和德国的开夫曼尔证实了卡松的理论。1928年，哈特莱发表了《信息传输》，首先提出了消息是代码、符号、序列，而不是内容本身，这就排除了主观的成分，实现了概念上的突破。他还第一次提出了信息量的概念，并企图用数字公式加以描述，为信息的传递找到了理论根据，对于信息论的创立起到促进作用。1938年美国人莫尔斯发明了高效率编码电报法，人类终于找到了比较先进的递讯工具。1940年二次大战中，由于通讯在军事上的重要意义，美国人申农开始从事信息论的研究。1945年波特发表了《声音的可视图形》。1947年他又与柯普等人著《可视语言》，为此信息论的创立条件日臻成熟。1948年申农发表《通讯的数学理论》。从而宣告信息论的创立。申农信息论的主要内容是研究信源、信宿、信道及编码问题。战后，由于通讯事业的需要和电子技术的飞速发展，促进了信息论的进一步发展，许多国家的学者对此进行了大量的研究工作，并卓有成就。

由于信息论的成就，给许多学科带来了希望之光，人们试图应用信息的基本理论解决诸如组织化、语义化、听觉、神经学、生理学、心理学中一些难以解决的问题。1950年在英国伦敦召开了信息论会议，收到论文20多篇，其中有6篇是关于信息论在心理学和神经生理学的应用。1951年美国无线电工程学会承认了信息论这门新学科，建立了信息论学组。1955年在伦敦举行的第三届信息论会议上，已涉及到解剖学、动物保健学、神经生理学、神经精神学、心理学。1956年申农氏对信息论的发展前途说：“对于像心理学、经济学等一些领域，信息论的许多概念会有用的。”

50年代英国人E·C切尔利还对信息做了历史性的考察，发表了《信息理论史》和《人类递讯》二文。50年代是信息论向各门科学冲击的时期，法国旅美物理学家L．布里渊把信息学推广到物理学领域，他发表的《生命-热力学和控制论》认为：“为了能把类似的概念可靠地应用于有关生命和智力的基本问题上，除了旧的古典的物理熵概念外，还需要一些大胆的新的推广和概括。”1956年他又出版了《科学与信息论》，力图把信息与具体物理过程联系起来，把信息熵与热力学熵直接联系起来，并提出“信息的负熵原理”，认为信息与负熵等价。1979年卡克根据这一原理对人肾化学自稳态功能的效率进行探讨，得出了较切实际的数值。

60年代是在信息论已有的基础上，进行重大建设时期，研究的重点是信息和信源编码问题，这一时期把信息论推广应用于生物学，神经生理方面的是美国的艾什比，他指出“信息论在本质上是组合论的一个分支，它的本质基本上是一种数数”。60年代人们把信息分成狭义信息论、一般信息论和广义信息论三种。

70年代由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题，人们越来越认识到信息的重要性。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便推动许多新兴学科的进一步发展。70年代在信息传输方面取得了新进展，出现了几类新信况下的信源和信道编码定理。伯格写了一本相当完整的专论信源和编码的书。在语义问题和有效性方面，1971年高艾斯等提出“有效信息概念”。1978年经复尔马等人的修正可加性基础上，推广为非可加性的“广义有效信息”。还有卡尔纳普等提出的“语义信息”、哥廷格尔的“无概率信息”、杰马里的“相对信息”等等。1965年查德提出模糊数学后，有人在模糊集合论基础上建立起“熵”和信息的概念，进一步试图建立“模糊信息论”，还有人根据计算机中的信息问题，设想建立“算法信息论”。在自然科学和哲学界，有人把信息作为基本的参量来研究，他们认为形式、结构，关系及类似的东西，比物质和能量更为基本些，而这些差异结构和关系正是用信息来表征的。

总之，近十年来的进展，已远远突破了申农信息论的范围，正如意大剥学者朗高在1975年发表的《信息论、新方向和未解决的问题》一文中指出的那样：“曾被申农在他的贡献中所审慎排除的东西，现在又被包含了进来”。目前人们已将信息论广泛应用于物理、化学、生物学、心理学、管理学等学科，一门研究信息的科学正在形成。