|
|
知识路径: > 信息系统综合知识 > 信息的定义和属性 > 信息的定量描述 >
|
相关知识点:5个
|
|
|
|
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表的论文《通信的数学理论》(A Mathematical Theory of Communication)作为现代信息论研究的开端。香农用概率来定量描述信息,给出了如下公式:
|
|
|
|
H(X)表示事件X的信息熵,pi是事件出现第i种状态的概率,在二进制的情况下,对数的底是2,此时信息熵可以作为信息的度量,称为信息量,单位是比特(bit)。在没有任何先验知识的基础上,人们对明天是否刮风,风力最大是多少是完全未知的,假如风力定义为从0级一直到7级,那么明天刮风这一事件的信息量是多大呢?由于没有先验知识,所以明天刮风出现最大风力为任何一个风力级别的概率是一样的,都是1/8,根据上述公式可以计算出明天刮风这一事件的信息量是3bit。为便于计算机处理,可以用3位二进制数来表示,即可用000, 001, 010, 011, 100, 101, 110, 111来描述明天的刮风事件。当明天没有来临时,刮风事件具有不确定性,这个不确定性定义为信息,而明天刮风事件一旦发生了,这种不确定性就消除了,因此信息还可以理解为消除不确定性的一种度量。
|
|
|
|
|
|
|
|
|
|
|
|