基于后验概率的Markov逻辑网参数学习方法

通过介绍统计关系学习方法Markov逻辑网的理论模型和参数学习方法, 提出一种基于后验概率的参数估计方法, 该方法采用正态先验分布, 用伪似然概率替代似然概率, 通过最大化伪后验概率来学习模型参数. 实验结果表明, 该方法能够有效地学出模型参数, 且所得模型推理能力优于现有的参数学习方法.     

基于Markov逻辑网的超文本分类

在传统的监督学习任务中,实体被认为是独立同分布的.然而,现实世界中实体之间通过复杂的方式相互关联.例如在超文本分类中,具有链接关系的页面之间高度相关.标准的分类方法是忽略实体之间的联系,对每个实体单独分类.本文将Markov逻辑网应用到超文本分类中,旨在改善这一问题.实验结果显示了采用Markov逻辑网模型要比采用K最邻近节点算法的分类效果好;同时将实体之间存在的联系用于学习和推理对于分类也有一定的贡献.     

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

基于Markov逻辑网的句子压缩方法

提出了一种基于Markov逻辑网通过删除单词进行英文句子压缩的方法。通过一阶逻辑公式表示单词的局部特征以及单词之间的相互依赖关系,确定单词是否应该删除。与现有方法相比,该方法把判别式学习和整数规划的优点相结合,既融合了丰富的句子特征,又以逻辑公式方便地表示全局约束。在书面和口语两个新闻数据集上的实验结果表明:该方法与L3和SVTL系统相比具有明显优势,在压缩率接近时,以人工压缩结果为评测标准,压缩后句子的依存关系F-score有较大提高。     

重复数据删除系统元数据存储布局研究

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略。研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删除时的随机磁盘访问次数。并且没有额外的硬件开销,实现仅在磁盘上存储索引,而不是之前研究中的在磁盘和内存中存储索引。      

基于时序参数的重复数据删除索引优化技术研究

针对系统中存在的索引检索效率问题,提出了一种基于时序参数的快速索引优化算法,该算法通过时间参数和序数参数获取数据块的热度值,将高热度值的数据块指纹组合成了一个高优先度的快速索引.快速索引与主索引组成了重复数据删除中的两层索引结构,从而提高了系统的检索性能.通过实验验证了基于时序参数的索引优化算法的优越性.     

基于重复数据删除技术的数据容灾系统的设计与测试

针对当今企业海量数据的增长给数据容灾系统的存储容量、处理能力、数据传输带宽带来巨大压力的现状,设计了一种基于重复数据删除技术的数据容灾系统.通过I/O吞吐量、CPU利用率、响应时间、数据备份时间和重复数据删除率等指标对数据容灾系统性能进行了测试,测试结果表明数据容灾系统对应用服务器响应时间的影响甚小,重复数据删除效果显著.     

内容分块算法中预期分块长度对重复数据删除率的影响

针对基于内容分块重复数据删除方法缺少能够定量分析预期分块长度与重复数据删除率之间关系的数学模型,导致难以通过调整预期分块长度优化重复数据删除率的问题,提出了一种基于Logistic函数的数学模型。在大量真实数据测观察基础上,提出了通过Logistic函数描述非重复数据的S形变化趋势,解决了该数据难以从理论上推导、建模的问题,证明了基于内容分块过程服从二项分布,并从理论上推导出了元数据大小模型。基于上述两种数据模型,通过数学运算最终推导得到重复数据删除率模型,并利用收集到的3组真实数据集对模型进行了实验验证。实验结果表明:反映数学模型拟合优度的R2值在0.9以上,说明该模型能够准确地反映出预期分块长度与重复数据删除率之间的数学关系。该模型为进一步研究如何通过调整预期分块长度使重复数据删除率最优化提供了理论基础。     

一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的Winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.     

R-dedup：一种重复数据删除指纹计算的优化方法

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法 R-dedup。在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48B等长数据片。基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1函数数据计算量,提高指纹计算性能。选取Linux内核、Imagenet等5组具有代表性的数据集,对R-dedup和标准基于内容分块的重复数据删除方法在数据分块性能、指纹计算性能、索引表检索性能和I/O性能方面分别进行了比较。结果表明:R-dedup的数据分块性能、索引表检索性能、I/O性能与对比方法具有4%左右的误差波动,性能基本一致;R-dedup的指纹计算吞吐率是对比方法的165%～422%,总体吞吐率是对比方法的6%～54%。     

概 率 逻 辑 学 习 概 述

在归纳逻辑编程研究的基础上, 给出了概率逻辑学习的一种形式化定义框架. 根据不同概率逻辑学习方法在实例表示和概率定义上的不同, 讨论了3种概率逻辑学习框架： 解释学习、 证明学习和蕴涵学习; 并据此对现有的典型概率逻辑学习方法和系统进行了分析和概述.     

基于马尔科夫逻辑网的句子情感分析方法

提出一种基于马尔科夫逻辑网的句子情感分析方法. 与深度学习方法相结合实现跨领域的知识迁移,同时采用马尔科夫逻辑网将句子的上下文信息与其它情感特征相结合实现句子情感分析. 在COAE评测数据上的实验结果表明,该方法与SVM分类方法相比,准确率达到70.02%,并且在跨领域的情感分析任务中也得到了较好的结果.      

相关向量机及其在铜锍吹炼中的应用研究

相关向量机(Relevance Vector Machine,RVM)是一种新的在稀疏贝叶斯概率模型的基础上发展起来的基于统计学习理论的机器学习方法,它比支持向量机( Support Vector Machine,SVM)有更多优点,已成为数据挖掘的又一高效有力工具.本文研究了RVM在铜锍吹炼中的应用.用RVM对某冶炼...     

基于MLN的中文事件触发词推理方法

现有的中文事件触发词抽取方法大多数采用特征工程和触发词扩展方法, 无法利用同一文档中各个触发词实例之间的内在关系。为了解决上述问题, 基于马尔科夫逻辑网络(MLN), 利用核心词素, 训练语料中触发词实例填充真假事件的概率, 以及触发词实例间的关系等信息来推导测试集中缺乏有效上下文信息和低可信度的触发词实例。在ACE 2005 中文语料上的实验结果表明, 与基准系统相比, 该方法在触发词识别和事件类型分类阶段F1值分别提高3.65%和2.51%。     

马尔可夫链在网络积分中的应用

网络中有许多地方要用到网络积分.例如腾讯公司的QQ游戏中、其他网络游戏中都要用到积分.还有论坛比如小木虫论坛等也会用到积分.主要利用马尔可夫链对网络中的一些积分进行分析和预测.基本方法就是利用状态之间的转移概率矩阵预测事件的积分状态及其发展变化趋势.     

一种基于模糊逻辑和神经网络的电力负荷预测方法

应用模糊理论、人工神经网络等智能技术,确定了有效的电力系统短期负荷预测方法,其中着重考虑了天气因素对电网负荷的影响,并开发了实用化的负荷在线预测软件,该软件是基于Windows的应用程序,具有开放式的结构和友好的人机接口,可用于每小时或每15min的负荷预测,测试结果表明,该方法具有良好的预测精度。     

移动自组网中可用性分析研究

可用性已经成为评价一个网络质量好坏的一个重要标准.由于移动自组网的网络拓扑结构易变、无线通信可靠性差和带宽受限、移动主机能源受限等不足,使得对其可用性的分析变得相当困难.为了能更好地分析移动自组网的可用性,构造了一个齐次的连续时间Markov链模型,并且通过该模型能够很好地求解系统在正常情况下稳态的概率,即稳态的可用性.图2,参9.     

支持向量机理论及其应用

作为当前国际机器学习前沿热点的支持向量机是一种新型的机器学习算法，具有卓越的学习效果。文中分析了该方法的核心思想及常用训练算法，并给出其具体应用。