熵——度量随机变量不确定性的一种尺度

本文首先论述了不确定性的概念，而后介绍熵及其性质。在此基础上，引进了微分熵。最后论述离散随机过程熵，并且得到了一些结论。