动态统计信息理论

将现有Shannon静态统计信息理论拓展至动态过程, 建立了以动态信息熵和动态信息的演化规律为核心的Shannon动态统计信息理论. 与此相对应, 还提出了Boltzmann动态统计信息理论. 基于动力学系统各自的态变量演化方程、即Fokker-Planck方程和Liouville扩散方程可看成是其信息符号演化方程, 推导出了表述动态熵和动态信息的演化规律的Shannon动态熵密度和动态信息密度的非线性演化方程以及Boltzmann动态熵密度和动态信息密度的非线性演化方 程. 这两种动态熵和动态信息的演化方程一致显示: 动态熵密度随时间的变化率是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和产生三者引起的, 而动态信息密度随时间的变化率则是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和耗损三者引起的. 熵和信息己与系统的状态和运动规律联系在一起. 进而给出了两种熵产生率公式和信息耗损率公式, 两种漂移信息流和扩散信息流的表达式. 证明了两种信息耗损率(或总信息的减少率)等于其相应的熵产生率(或总熵的增加率). 得到了反映信息在传递过程中耗损特性的两种动态互信息公式和动态信道容量公式, 它们在信道长度与信号传递速度之比趋于零的极限情况下变为现有的静态互信息公式和静态信道容量公式. 所有这些新的理论公式和结果都是从动态信息演化方程和动态熵演化方程统一推导出的. 综述了上述思想、方法、主要结果和典型运用, 讨论了两种动态统计信息理论的同异.     

动态信息理论和动力学系统信息描述

发展了作者建立的动态统计信息理论. 基于随机动力学系统、经典和量子非平衡态统计物理系统和特殊电磁场系统的态变量演化方程都可看成是其信息符号演化方程, 结合动态信息和动态熵的定义, 推导出了描述动态信息演化规律的动态信息演化方程和动态熵演化方程. 这四种演化方程的数学类型相同. 它们一致表明: 当信息在系统之外的坐标空间传递时, 动态信息密度随时间的变化率是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和耗损三者引起的, 而动态熵密度随时间的变化率则是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和产生三者引起的. 当空间噪声可略去时, 将会出现信息波. 若仅研究系统内部的信息变化, 动态信息演化方程就约化为与描述上述动力学系统演化规律的动力学方程相对应的信息方程, 表明各动力学系统的演化规律都可统一由信息方程描述, 因而这些系统的演化过程就可抽象成信息的演化过程. 进而给出了信息流公式、信息耗损率公式和熵产生率公式. 论证了内部组元间存在相互吸引作用的动态系统可能自发产生信息, 推导出了这种信息产生率公式. 从而得到了系统的总的信息变化率表达式, 它是由信息耗损率、信息产生率和信息流入率三者的代数和组成的, 显示了动力学系统的演化、包括退化和自组织进化统一的信息描述.     

论非平衡态统计物理基本方程——兼论非平衡熵演化方程和熵产生率公式

该文综述了作者的研究成果．十多年前,作者提出了一个新的非平衡态统计物理基本方程以取代现有的Liouville方程．这就是6N维相空间的随机速度型Langevin方程或其等价的Liouville扩散方程．这个方程是时间反演不对称的．它表明,统计热力学系统内的粒子运动形式同时具有漂移扩散二重性,统计热力学运动规律是由动力学规律和随机性速度二者叠加而成的,既有确定性又有随机性,因而有别于动力学系统内的粒子运动规律．粒子的随机扩散运动正是宏观不可逆性的微观起源．由这个基本方程出发,求得了BBGKY扩散方程链、Boltzmann碰撞扩散方程和流体力学方程,如质量漂移扩散方程、Naiver．Stokes方程和热导方程等．更重要的,首次建立了6N维、6维和3维相空间的非平衡熵密度随时空变化的非线性演化方程,预言了熵扩散的存在．这个熵演化方程在非平衡熵理论中起着核心作用．它指明,非平衡熵密度随时间的变化率是由其在空间的漂移、扩散和产生三者引起的．进而由这个演化方程,求得了6N维和6维相空间的熵产生率公式、即熵增加定律公式,论证了非平衡系统内部吸引力能导致嫡减少而排斥力则引起另一种熵增加,导出了熵减少率或另一种熵增加率的共同表达式,给出了统一热力学退化和自组织进化的理论表达式,阐明了趋向平衡的熵扩散机理．作为应用,还将这些熵公式用于计算和讨论了一些实际非平衡态和定态物理课题．所有这些结果都是严格统一从新的基本方程推导出的,未增补任何其他新假设．     

自发熵减少及其统计公式

世界为何能抵抗熵增加定律而涌现自组织结构?孤立系统的熵是否永远只增不减?热力学退化和自组织进化可否统一,如何统一?本文从非平衡熵演化方程出发,论证内部有相互吸引力作用的非平衡系统可能会自发涌现一种新的熵减少,它与传统的熵增加定律共存,互相抵消,结果导致孤立系统的总熵可能减少,从而不仅使孤立系统亦促进开放系统涌现自组织结构。本文推导出这种新的熵减少率的统计公式,并从数学形式和微观物理基础两方面与作者前些年得到的熵增加定律的统计公式作了对比;进而给出孤立系统和开放系统的总熵变化率公式,前者由熵增加定律公式和新的熵减少率公式相加决定,后者为熵增加、熵减少和熵流出3项的代数和,二者都显示了热力学退化和自组织进化的统一。应用本文理论公式,定性地讨论了两个实际孤立系统不均匀结构的形成,包括对宇宙热寂推论的澄清。     

信息谱熵的链式关系

信息谱针对非独立同分布多拷贝的情形,建立了信源编码和信道编码理论。在实际中,有限码长和有限步操作才是可实现的,从而有必要对非渐近情形甚至是one-shot情形下的信息谱进行研究。该文给出信息谱相对熵及相关性质,特别给出了信息谱相对熵与假设检验相对熵的关系。依赖信息谱相对熵,考虑相关的熵、条件熵和互信息,重点讨论信息谱互信息之间的等价关系,进而讨论其链式关系。     

信息理论及其在分类学中的应用

主要讨论信息理论的有关知识 ,及其在分类学中的应用 .我们首先给出了信息的概念、性质 ,以及信息与相关、χ2 分布、信息比等之间的关系 ,利用这些理论定义了交互信息的概念 ,并利用交互信息分析了两种分类之间的相依性问题 .     

基于动态信息的过渡过程辨识方法

提出了一种基于动态信息的过渡过程识别方法.给出了过渡过程的具体定义,描述了过渡过程相对于稳态过程的独特性质.考虑到多工况过程存在较强的动态特性,引入动态交互信息概念,运用动态交互信息的方法,可以较好地反映过渡过程与稳态工况之间的差异.通过算例和TE(Tennessee Eastman)过程仿真平台对算法进行验证的结果表明,所提出的方法相对于传统方法在过渡过程识别和监控中取得了更好的效果.     

熵—信息理论在多品种小批量企业日常生产作业动态管理…

借鉴熵－信息理论的部分内容，初步建立多品种小批量企业日常生产作业动态管理的控制模式。     

基于生鲜农产品供应链上的三方演化博弈分析

针对生鲜农产品供应链上游环节中物流资源投入程度是否积极的问题,引入政府监管机制,建立政府监管部门、供应商与加工商之间的三方演化博弈模型,利用复制动态方程以及演化博弈理论知识,得到模型中行为主体策略选择的走向以及系统的演化稳定策略,并对参数进行赋值,用 MATLAB 软件进行仿真分析, 验证了结果的合理性。 研究表明:只有提高政府监管部门的形象效用、降低监管成本、增大处罚金额时,政府监管部门才愿意选择“监管”策略;而增大供应商与加工商积极投入物流资源的收益增加比率、缩减投入成本、减少“搭便车”行为获得的额外收益、加大消极投入的处罚时,供应商与加工商更倾向于“积极投入”策略。     

基于信息损失量的特征选择方法研究及应用

通过研究特征变量与类变量的信息测度和特征子集与类变量之间信息测度计算方法,实现快速的特征选择。将基于扩展熵的信息损失量测度用于度量类变量之间的相关性。为避免计算联合互信息的复杂计算,提出了基于信息损失量的变量相关度增加量计算方法,在保证新增特征可提供更多信息量前提下,同时提高特征选择的速度。最后对UCI的3种分类数据集进行实例分析,利用支持向量机对选择的特征子集进行分类验证,并将分类结果与其它常用特征选择方法进行了比较。结果表明所提出的特征选择方法比现有的特征选择方法更有效。     

一种改进的互信息特征选取预处理算法

讨论了基于互信息的特征选取算法在文本分类中的性能问题,分析了利用这种特征选取算法存在分类精度不高的原因,认为互信息为负值的特征在分类中具有很重要的作用．在此基础上提出了一种基于互信息特征选取的改进算法,该算法加强了互信息为负值的特征在分类中的作用．实验结果表明,改进后的算法可以有效地提高文本分类精度。     

测量误差理论的信息论诠释

基于信息理论和测量误差有关理论，分析了随机变量信息熵与方差的关系，认为信息熵可以作为测量结果精度的测度；误差传播定律是高斯信源、信道下信息传播的特例．     

耗散结构原理在边防情报系统中的应用

阐述了耗散结构原理,分析了边防情报系统的耗散结构特性,提出了利用耗散结构原理改善边防情报系统有序性的方法,以期指导边防情报实际工作。     

一种动态社交网络上的传播源点定位方法

在线社交网络的拓扑会随时间而发生改变,使得确定潜在的传播源点非常困难.为此,提出一种考虑网络动态变化的传播源点定位方法,通过对网络演化建模,推断传播拓扑,从而准确定位信息源点.首先采用基于双曲几何学的链接分析方法,推断网络在传播过程中的拓扑变化,然后基于传播拓扑进行源点定位.在实际网络及合成网络上进行了大规模的实验,结果证明了算法的可行性.     

演化聚类在离散制造业质量管理中的应用

针对离散制造业质量管理系统中维度高,且存在较多一致性数据的情形,设计了一种基于信息论中的信息熵,即互信息的改进聚类算法。通过实验分析,采用改进的聚类算法可有效提高聚类的正确率,并且通过演化聚类理论和方法的应用可对离散制造业质量管理提供有效的决策参考信息。     

Mutual Information Is Copula Entropy

Mutual information (MI) is a basic concept in information theory.Therefore,estimates of the MI are fundamentally important in most information theory applications.This paper provides a new way of understanding and estimating the MI using the copula function.First,the entropy of the copula,named the copula entropy,is defined as a measure of the dependence uncertainty represented by the copula function and then the MI is shown to be equivalent to the negative copula entropy.With this equivalence,the MI can be...     

心算任务下脑电信息传输

通过计算多导脑电的互信息传输时间序列的复杂度,研究了心算任务和安静状态下不同认知水平的对象脑电特异表现.结果表明,不同的实验状态、不同认知能力的被试者以及大脑的不同部位均可对互信息复杂度产生显著影响.抑郁症在心算任务下的互信息传输复杂度显著低于（P<0.001）安静闭目状态下的复杂度,而正常对照组虽然在心算任务下的脑电互信息传输复杂度也较安静闭目状态时有所下降,但不具有统计意义.据此推测,完成认知作业时的脑电互信息复杂度在一定程度上反映了认知水平的不同.     

一种特征选择的信息论算法

特征选择在模式识别技术中起着非常重要的作用,用信息论的方法进行特征选择还是一个新课题.MIFS和MIFS-U是两种用信息论方法进行特征选择的近似算法,MIFS和MIFS-U算法都有一个考虑输入特征之间信息冗余的权重系数,MIFS-U算法还有一个条件限制.当条件不满足或权重系数取值不合适时,这两种算法的特征选择性能就会下降.通过研究这两种算法,借助互信息的概念提出一种新的信息论特征选择算法MIFS-D.和MIFS、MIFS-U算法相比,MIFS-D是一种更精确的算法,去掉了限制条件和权重系数.将3种算法应用于几个分类问题,结果表明MIFS-D算法具有相对更好的特征选择性能.     

一种基于广义信息概念的智能系统结构和方法

本文基于广义信息概念提出了一种新的智能专家系统理论结构，详细描述了这种结构的特点，并将该方法应用于一个实际过程。