|
|
|
香农在《通信的数学理论》一文中对“信息”的理解是“不确定性的减少”，由此引申出信息的一个定义：“信息是系统有序程度的度量”，该定义给出了信息的定量描述，并确定了信息量的单位为比特（bit，b）。一比特的信息量，在变异度为2的最简单情况下，就是能消除非此即彼的不确定性所需要的信息量。香农把热力学中的熵引入信息论。在热力学中，熵是系统无序程度的度量，而信息与熵正好相反，信息是系统有序程度的度量，因而表现为负熵。它的计算公式如下：
|
|
|
|
|
|
式中xi代表n个状态中的第i个状态，P（xi）代表出现第i个状态的概率，H（x）代表用以消除系统不确定性所需的信息量，即以比特为单位的负熵。
|
|
|
|
|
|
|
|
|
|
|
|
对信息的量的研究，与第一个层次有关，构成经典信息论的内容；对信息的质的研究，与第二、第三两个层次有关，构成现代信息论的内容。
|
|
|
|
|
|
（1）客观性。信息是客观事物在人脑中的反映，而反映的对象则有主观和客观的区别，因而，信息可分为主观信息（如决策、指令、计划等）和客观信息（如国际形势、经济发展等信息）。
|
|
|
|
（2）普遍性。物质的普遍性决定了信息的普遍存在，因而信息无所不在。
|
|
|
|
（3）无限性。客观世界是无限的，反映客观世界的信息自然也是无限的。
|
|
|
|
（4）动态性。信息是随着时间的变化而变化，因而是动态的。
|
|
|
|
（5）依附性。信息是客观世界的反映，因而要依附于一定的载体而存在，需要有物质的承担者。信息不能完全脱离物质而独立存在。
|
|
|
|
（6）变换性。信息通过处理可以实现变换或转换，使其形式和内容发生变化，以适应特定的需要。
|
|
|
|
（7）传递性。信息在时间上的传递就是存储，在空间上的传递就是转移或扩散。
|
|
|
|
（8）层次性。客观世界是分层次的，反映它的信息也是分层次的。
|
|
|
|
（9）系统性。信息可以表示为一种集合，不同类别的信息可以形成不同的整体。因而，可以形成与现实世界相对应的信息系统。
|
|
|
|
（10）转化性。信息的产生不能没有物质，信息的传递不能没有能量，但有效地使用信息可以把信息转化为物质或能量。
|
|
|
