本书主要分为四个部分:第一部分主要介绍信息论产生的背景及信息的基本概念。第二部分从无失真和限失真的角度介绍
信源编码定理和一些信源编码方法。第三部分介绍
信道编码定理及各种信道编码技术。第四部分介绍蓬勃发展的用户信息论。
本书主要介绍由
克劳德·香农理论发展起来的信息论与编码理论,用于解决通信中的基本问题。首先简要介绍编码的概念;第一部分介绍香农理论、信道与信源编码理论;第二部分详细介绍几种编码方案,可用于信道与信源编码。书中提供了大量实例,每章末均有习题与说明,以便于具有概率论与线性代数知识的读者掌握和理解。
本书可用做信息、通信、
电子工程等专业的相关课教材,也可作为有一定
英语基础的人员自学使用。信息论是运用概率论与数理统计的方法研究信息、信息、通信系统、数据传输、密码学、数据压缩等问题的
应用数学学科。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输
定理、信源-信道隔离定理相互联系。
克劳德·香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中,香农给出了信息熵(以下简称为“熵”)的定义: H = - ∑ pilogpi i 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量,其中去除了由消息的固有结构所决定的部分,比如,语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。
路德维希·玻尔兹曼与
约西亚·吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为: I(X,Y) = H(X) + H(Y) - H(X,Y) 其中H(X,Y) 是联合熵(Joint Entropy),其定义为: H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息与多元
对数似然比检验以及皮尔森χ2校验有着密切的联系。