您好, 欢迎来到化工仪器网
15
经典型TX500C 旋转滴法振荡滴,升级
新闻排行榜
更多
信息熵
阅读：2273 发布时间：2010-3-2
-
提供商
美国科诺工业有限公司 （战略投资公司：上海梭伦信息科技有限公司）
-
资料大小
0K
- 资料图片
-
下载次数
0次
-
资料类型
未传
-
浏览次数
2273次
一 熵的另一种表达形式按照Boltzmann关系式 S=kBlnΩ，式中kB是Boltzmann常数，Ω是系统可及微观状态总数，系统的微观态数目越多，熵值就越大。因此，熵是系统内部分子热运动的混乱度的量度。按统计平均的意义上式还有另一种表示方法，设隔离系统可及微观状态为1，2，3，……，Ω。按Boltzmann等概率假设这Ω个可及微观状态出现的概率pi都相等，即Pi =1/Ω（i=1,2,……，Ω），因此熵就有了另一种表达形式 
Boltzmann对熵的这个解释，具有极为深刻的意义，使熵成为一个富有生命力的概念。它不仅促进了热力学和统计物理学自身理论的发展，并且使熵的应用远远超出热力学和统计物理学的范畴，直接或间接地渗入了信息论，控制论、概率论、天体物理，以及甚至生命科学和社会科学等不同的领域。
二 一个例子
仍然以投掷骰子为例：小张掷一个骰子，让眼被蒙住的小李猜骰子向上的点数。由于正方体骰子六个侧面是等价的， 1、2、3、4、5、6点向上的概率相同都等于1/6，所以小李猜对的概率是1/6。如果提供如下消息：
a: 骰子的点数是偶数。
b: 骰子的点数不是2。
c: 骰子的点数是1,2,3,4,5,6中的一个。
d: 骰子的点数是4。
①当小李只得到其中的一条消息后，他猜对的概率分别为1/3（a） ,1/5（b）, 1/6（c）, 1（d）。
②当小李依次得到a ,b或b ,a这两条消息，那么他猜对的概率均为1/2。
上面的例子说明:概率反映了事件发生不确定性的大小，而信息是可以改变不确定性的;消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以数量化的。在定量地描述“信息量”之前必须对事件的不确定性给出确切的量度。
三Shannon（香农）熵
1948年，C.E.Shannon把Boltzmann关于熵的概念引入信息论中，把熵作为一个随机事件的不确定性的量度。
0 ≤ Pi ≤ 1 （i = 1,2,…….,n） 及 
= 1
对于随机事件，其主要性质是：对它们的出现与否没有把握，当进行和这些事件有关的多次实验时，它们的出现与否具有一定的不确定性，概率实验先验地含有这一不确定性，本质上是和该实验可能结局的分布概率有关。为了量度概率实验A的不确定性，Shannon引入函数
Hn（A） = H（P1,P2,…….,Pn） = - k
作为概率实验A实验结果不确定性的量度，式中k是一个大于零的恒量，因此Hn≥0。量Hn叫做Shannon熵。
| 结果出现的概率 Pi | 1点 | 2点 | 3点 | 4点 | 5点 | 6点 | |
| A | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | k ln6 |
| A+a | 0 | 1/3 | 0 | 1/3 | 0 | 1/3 | kln3 |
| A+b | 1/5 | 0 | 1/5 | 1/5 | 1/5 | 1/5 | kln5 |
| A+c | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | kln6 |
| A+d | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| A+a+b | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
| A+b+a | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
可见Shannon熵具有如下性质：在实验A中，如果任何一个Pi=1，而其余的都是等于零，则Hn=0，因为这时我们可以对实验结果作出决定性预言，而不存在任何不确定性；反之，如果事先对实验结果一无所知，则所有的Pi都相等（Pi=1/n , i=1,2,3,……n），这时Hn达到极大值
（Hn）max=k ln （n）
很明显，在这一极限情况下，实验结果具有大的不确定性；同时可以证明Shannon熵具有可加性：由两个独立事件A和B组成的复合事件C,其Shannon熵
考虑一个随机事件实验A，设它有n个可能的（独立的）结局：a1,a2……，an；每一结局出现的概率分别定P1，P2，P3……Pn，它们满足以下条件- k
= - k= - k
- k
即 H（AB） = H（A） + H（B）
可以证明上面定义的Shannon熵是一个独立于热力学熵的概念，但具有热力学熵的基本性质（单位性和极值性）。与热力学熵相比，Shannon熵具有更为广泛和普通的意义。
四 信息量与信息熵信息论量度信息的基本出发点，是把获得的信息看作用以消除不确定性的东西，因此信息数量的大小，可以用被消除的不确定性的多少来表示。设随机事件A在获得信息α之前结果的不确定性为H（A），得到信息α之后为Hα（A），那么包含在消息α中的关于事件A的信息量: I（α,A） = H（A） - Hα（A）
利用上表的数据可以求出包含在消息a,b,c.d中的关于事件A的信息量：
I（a,A） = kln2
I（b,A）= kln1.2（c,A）= 0
I
I（d,A）= kln6
事件A的Shannon熵H（A） 也可以理解为包含在A这个事件本身中的关于它自己的信息，因为事件发生后结果（d）就确定了,这时 Hd（A） = 0所以H（A） = I（d,A）= kln6。换句话说，事件A的Shannon熵H（A）等于这个事件发生之后，我们所得到的信息。
参 阅 指 南
1 傅献彩、沈文霞、姚天扬编，《平衡态统计热力学》，高等教育出版社，1994年。
信息量是信息论的中心概念，把熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，大大地促进了信息论的发展。一般而言，Shnnon熵在随机事件发生之前，它是结果不确定性的量度；在随机事件发生之后，它是我们从该事件中所得到信息的量度（信息量）。因此，随机事件的Shnnon熵也叫信息熵，它是一个随机事件的不确定性或信息量的量度。与统计熵相似，在给定的实验条件下，所有可能的概率分布中，存在一个使信息熵Hn取极大值的分布（
2 傅献彩、沈文霞、姚天扬编，《物理化学》（上册），第4版，高等教育出版社，1990年。
3 唐有祺，《统计力学及其在物理化学中的应用》，科学出版社，1979年。
4 B. J. 麦克莱兰著，龚少明译，《统计热力学》，上海科学技术出版社，1980年。
5 姚允斌、朱志昂编，《物理化学教程》（上册），湖南教育出版社，1984年，P.356-358。
6 高执棣，独立子体系热力学定律的统计实质，《物理化学教学文集》，高等教育出版社，1986年。
7 P. W. Atkins, Physical Chemistry, Oxford University Press, 1978, P. 685-687
8 G. C. Lie，Boltzmann Distribution and Boltzmann’s Hypothesis， J. Chem. Educ., 58, 603（1981）。
9 L. K. Nash，On the Boltzmann Distribution Law， J. Chem. Educ., 59, 824（1982）。,
,
,……,
） 。这称为大信息熵原理。这一原理使我们能从所有可能的相容分布中挑选出使信息熵为极大值的分布——即为常见的、实现概率大的“*”分布。
