动态统计信息理论

将现有Shannon静态统计信息理论拓展至动态过程, 建立了以动态信息熵和动态信息的演化规律为核心的Shannon动态统计信息理论. 与此相对应, 还提出了Boltzmann动态统计信息理论. 基于动力学系统各自的态变量演化方程、即Fokker-Planck方程和Liouville扩散方程可看成是其信息符号演化方程, 推导出了表述动态熵和动态信息的演化规律的Shannon动态熵密度和动态信息密度的非线性演化方程以及Boltzmann动态熵密度和动态信息密度的非线性演化方 程. 这两种动态熵和动态信息的演化方程一致显示: 动态熵密度随时间的变化率是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和产生三者引起的, 而动态信息密度随时间的变化率则是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和耗损三者引起的. 熵和信息己与系统的状态和运动规律联系在一起. 进而给出了两种熵产生率公式和信息耗损率公式, 两种漂移信息流和扩散信息流的表达式. 证明了两种信息耗损率(或总信息的减少率)等于其相应的熵产生率(或总熵的增加率). 得到了反映信息在传递过程中耗损特性的两种动态互信息公式和动态信道容量公式, 它们在信道长度与信号传递速度之比趋于零的极限情况下变为现有的静态互信息公式和静态信道容量公式. 所有这些新的理论公式和结果都是从动态信息演化方程和动态熵演化方程统一推导出的. 综述了上述思想、方法、主要结果和典型运用, 讨论了两种动态统计信息理论的同异.     

动态信息理论和动力学系统信息描述

发展了作者建立的动态统计信息理论. 基于随机动力学系统、经典和量子非平衡态统计物理系统和特殊电磁场系统的态变量演化方程都可看成是其信息符号演化方程, 结合动态信息和动态熵的定义, 推导出了描述动态信息演化规律的动态信息演化方程和动态熵演化方程. 这四种演化方程的数学类型相同. 它们一致表明: 当信息在系统之外的坐标空间传递时, 动态信息密度随时间的变化率是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和耗损三者引起的, 而动态熵密度随时间的变化率则是由其在系统内部的态变量空间和传递过程的坐标空间的漂移、扩散和产生三者引起的. 当空间噪声可略去时, 将会出现信息波. 若仅研究系统内部的信息变化, 动态信息演化方程就约化为与描述上述动力学系统演化规律的动力学方程相对应的信息方程, 表明各动力学系统的演化规律都可统一由信息方程描述, 因而这些系统的演化过程就可抽象成信息的演化过程. 进而给出了信息流公式、信息耗损率公式和熵产生率公式. 论证了内部组元间存在相互吸引作用的动态系统可能自发产生信息, 推导出了这种信息产生率公式. 从而得到了系统的总的信息变化率表达式, 它是由信息耗损率、信息产生率和信息流入率三者的代数和组成的, 显示了动力学系统的演化、包括退化和自组织进化统一的信息描述.     

论非平衡态统计物理基本方程——兼论非平衡熵演化方程和熵产生率公式

该文综述了作者的研究成果．十多年前,作者提出了一个新的非平衡态统计物理基本方程以取代现有的Liouville方程．这就是6N维相空间的随机速度型Langevin方程或其等价的Liouville扩散方程．这个方程是时间反演不对称的．它表明,统计热力学系统内的粒子运动形式同时具有漂移扩散二重性,统计热力学运动规律是由动力学规律和随机性速度二者叠加而成的,既有确定性又有随机性,因而有别于动力学系统内的粒子运动规律．粒子的随机扩散运动正是宏观不可逆性的微观起源．由这个基本方程出发,求得了BBGKY扩散方程链、Boltzmann碰撞扩散方程和流体力学方程,如质量漂移扩散方程、Naiver．Stokes方程和热导方程等．更重要的,首次建立了6N维、6维和3维相空间的非平衡熵密度随时空变化的非线性演化方程,预言了熵扩散的存在．这个熵演化方程在非平衡熵理论中起着核心作用．它指明,非平衡熵密度随时间的变化率是由其在空间的漂移、扩散和产生三者引起的．进而由这个演化方程,求得了6N维和6维相空间的熵产生率公式、即熵增加定律公式,论证了非平衡系统内部吸引力能导致嫡减少而排斥力则引起另一种熵增加,导出了熵减少率或另一种熵增加率的共同表达式,给出了统一热力学退化和自组织进化的理论表达式,阐明了趋向平衡的熵扩散机理．作为应用,还将这些熵公式用于计算和讨论了一些实际非平衡态和定态物理课题．所有这些结果都是严格统一从新的基本方程推导出的,未增补任何其他新假设．     

自发熵减少及其统计公式

世界为何能抵抗熵增加定律而涌现自组织结构?孤立系统的熵是否永远只增不减?热力学退化和自组织进化可否统一,如何统一?本文从非平衡熵演化方程出发,论证内部有相互吸引力作用的非平衡系统可能会自发涌现一种新的熵减少,它与传统的熵增加定律共存,互相抵消,结果导致孤立系统的总熵可能减少,从而不仅使孤立系统亦促进开放系统涌现自组织结构。本文推导出这种新的熵减少率的统计公式,并从数学形式和微观物理基础两方面与作者前些年得到的熵增加定律的统计公式作了对比;进而给出孤立系统和开放系统的总熵变化率公式,前者由熵增加定律公式和新的熵减少率公式相加决定,后者为熵增加、熵减少和熵流出3项的代数和,二者都显示了热力学退化和自组织进化的统一。应用本文理论公式,定性地讨论了两个实际孤立系统不均匀结构的形成,包括对宇宙热寂推论的澄清。     

信息谱熵的链式关系

信息谱针对非独立同分布多拷贝的情形,建立了信源编码和信道编码理论。在实际中,有限码长和有限步操作才是可实现的,从而有必要对非渐近情形甚至是one-shot情形下的信息谱进行研究。该文给出信息谱相对熵及相关性质,特别给出了信息谱相对熵与假设检验相对熵的关系。依赖信息谱相对熵,考虑相关的熵、条件熵和互信息,重点讨论信息谱互信息之间的等价关系,进而讨论其链式关系。     

信息理论及其在分类学中的应用

主要讨论信息理论的有关知识 ,及其在分类学中的应用 .我们首先给出了信息的概念、性质 ,以及信息与相关、χ2 分布、信息比等之间的关系 ,利用这些理论定义了交互信息的概念 ,并利用交互信息分析了两种分类之间的相依性问题 .     

基于动态信息的过渡过程辨识方法

提出了一种基于动态信息的过渡过程识别方法.给出了过渡过程的具体定义,描述了过渡过程相对于稳态过程的独特性质.考虑到多工况过程存在较强的动态特性,引入动态交互信息概念,运用动态交互信息的方法,可以较好地反映过渡过程与稳态工况之间的差异.通过算例和TE(Tennessee Eastman)过程仿真平台对算法进行验证的结果表明,所提出的方法相对于传统方法在过渡过程识别和监控中取得了更好的效果.     

熵—信息理论在多品种小批量企业日常生产作业动态管理…

借鉴熵－信息理论的部分内容，初步建立多品种小批量企业日常生产作业动态管理的控制模式。     

基于信息损失量的特征选择方法研究及应用

通过研究特征变量与类变量的信息测度和特征子集与类变量之间信息测度计算方法,实现快速的特征选择。将基于扩展熵的信息损失量测度用于度量类变量之间的相关性。为避免计算联合互信息的复杂计算,提出了基于信息损失量的变量相关度增加量计算方法,在保证新增特征可提供更多信息量前提下,同时提高特征选择的速度。最后对UCI的3种分类数据集进行实例分析,利用支持向量机对选择的特征子集进行分类验证,并将分类结果与其它常用特征选择方法进行了比较。结果表明所提出的特征选择方法比现有的特征选择方法更有效。     

基于Copula熵理论的大坝渗流统计模型因子优选

针对大坝渗流统计模型需要考虑较多的前期项,造成参选的因子数量较大,进而导致常规方法的建模误差较高的问题,研究引入Copula熵理论,利用Copula熵和偏互信息(partial mutual information,PMI)相结合的方法,对输入因子的选取进行优化。针对Copula熵的求取,Copula函数采用Gumbel函数,分布采用柯西分布代替正态分布,并引入Hample准则来精确选取因子。将该方法在糯扎渡大坝渗流监测中进行应用,并与常规的因子选择方法进行对比分析,结果表明,采用基于Copula熵的因子优化选取方法的渗流统计模型具有更好的预测效果。     

一种改进的互信息特征选取预处理算法

讨论了基于互信息的特征选取算法在文本分类中的性能问题,分析了利用这种特征选取算法存在分类精度不高的原因,认为互信息为负值的特征在分类中具有很重要的作用．在此基础上提出了一种基于互信息特征选取的改进算法,该算法加强了互信息为负值的特征在分类中的作用．实验结果表明,改进后的算法可以有效地提高文本分类精度。     

演化聚类在离散制造业质量管理中的应用

针对离散制造业质量管理系统中维度高,且存在较多一致性数据的情形,设计了一种基于信息论中的信息熵,即互信息的改进聚类算法。通过实验分析,采用改进的聚类算法可有效提高聚类的正确率,并且通过演化聚类理论和方法的应用可对离散制造业质量管理提供有效的决策参考信息。     

Dependence of mutual information of big protein sequence

The mutual information function is used to describe the auto-correlation of amino acids in protein. We find two interesting phenomenon: (1) for any given big protein, the mutual information function l(k) is almost a const, where k is the length of gap. (2) for any two sequence similar proteins, the mutual information are nearly the same. As a consequent, we may use mutual information of protein as a character for sequences comparison. Foundation item: Supported by the National Natural Science Foundation of China (30170214) Biography: Shi Feng ( 1966-), male, Ph. D, Associate professor, research direction: bioinformatics.     

最小相关性最大依赖度属性约简的改进算法

对于决策表的属性约简,通过分析最小相关性最大依赖度属性约简算法,得到了一种更加完善的最小相关性最大依赖度属性约简算法,并通过实例验证其可行性.     

一种动态社交网络上的传播源点定位方法

在线社交网络的拓扑会随时间而发生改变,使得确定潜在的传播源点非常困难.为此,提出一种考虑网络动态变化的传播源点定位方法,通过对网络演化建模,推断传播拓扑,从而准确定位信息源点.首先采用基于双曲几何学的链接分析方法,推断网络在传播过程中的拓扑变化,然后基于传播拓扑进行源点定位.在实际网络及合成网络上进行了大规模的实验,结果证明了算法的可行性.     

一类拟模糊熵的渐近界

目的为得到一类拟模糊熵的渐近界的一些性质和定理。方法以模糊熵的基本定义和性质为基础,以Jensen inequality（詹森不等式）为工具进行研究。结果得到b-拟模糊熵、b-拟条件模糊熵、b-拟互信息的渐近界的定义和一些良好的性质及定理。结论深化和发展了模糊信息论的内容。     

基于IN算法的剪枝优化算法

提出一种基于IN算法构造分类器的剪枝优化算法C IN.针对IN算法利用对数似然比统计量进行假设检验存在的统计意义不明确的问题,本文算法在给定层每一节点引入了样本数阈值和属性值阈值的计算,从而保证检验的有效性.给出了算法的理论依据,并且推导出了对数似然比统计量计算公式成立条件.实验表明,该算法能够消减数据维数并且可以从大规模数据集中提取简明的规则.     

心算任务下脑电信息传输

通过计算多导脑电的互信息传输时间序列的复杂度,研究了心算任务和安静状态下不同认知水平的对象脑电特异表现.结果表明,不同的实验状态、不同认知能力的被试者以及大脑的不同部位均可对互信息复杂度产生显著影响.抑郁症在心算任务下的互信息传输复杂度显著低于（P<0.001）安静闭目状态下的复杂度,而正常对照组虽然在心算任务下的脑电互信息传输复杂度也较安静闭目状态时有所下降,但不具有统计意义.据此推测,完成认知作业时的脑电互信息复杂度在一定程度上反映了认知水平的不同.