信息&熵

自信息

定义：

理解：

• 自信息量反映了事件发生的不确定性
• 发生概率越高的事情，具有的自信息量越少
• 发生概率越低的事情，具有的自信息量越多

信息熵

定义：

理解：

• x分布均匀，不确定度越小，信息量越小
• x分布不均匀，不确定度越大，信息量越大

联合熵

定义：

理解：

• 表示随机变量 X 和 Y 一起发生时的信息熵，即 X 和 Y 一起发生时的确定度
• 表示 X 和 Y 一起发生时产生的信息量

互信息

定义：

理解：

• 性质：

  

• 表示 Y 已知使得 X 的不确定度减少了 I