基于权重的马尔可夫随机游走相似度度量的实体识别方法

社会网络分析方法是一种量化的社会学分析方法,它将社会行动者映射为图的节点,社会行动者之间的关系映射为图的边,然后利用图论的相关知识来解决社会网络的问题.在算法改进和系统实现层面展开数据挖掘在社会网络分析中的应用研究,在对基于图的实体识别方法进行深入研究的基础上,提出了基于马尔可夫随机游走相似度度量的方法,使其能够应用于有权有向图上的实体识别,并在此基础上提出可以处理多链接属性的实体识别算法.基于电信分析系统平台,重点研究和分析了上述算法的具体应用并在电信数据集上进行测试,应用结果表明上述算法的有效性和实用性.     

PDM:基于Hadoop的并行数据分析系统

提出了一款基于Hadoop的并行数据分析系统——PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和"多源最短路径"算法的原理和实现,其中,提出的"消息传递模型"能有效解决MapReduce难以处理邻接矩阵的问题;介绍了基于电信数据的典型应用,如采用并行k均值和决策树算法实现的"套餐推荐",利用并行PageRank算法实现的"营销关键点发现"等;最后通过性能测试,说明该系统适合高效地处理大规模数据.     

社群网络中基于链接分类的研究与应用

由于在互联网、电信、生物信息、社会网络分析等领域可获得的链接丰富的数据日益增多,链接挖掘已经成为数据挖掘的研究热点。基于链接分类是链接挖掘的一个重要方向。在此以电信领域用户通话特征数据为对象,研究了基于链接分类技术及其在电信客户流失预测的应用方法,在提取并分析大规模客户呼叫图的极大团、结点膨胀率、结点聚集度等与节点稳定性相关的链接属性及其时变特征的基础上,提出了一种适合海量数据的基于链接的电信客户流失预测算法。实验结果表明,此算法较传统分类算法能提高客户流失预测性能,实现了基于链接分类方法的成功应用。     

基于空问定位的聚类算法在电信业客户划分中的应用

随着电信市场竞争的不断加剧,电信企业传统的营销模式正在向主动、精确营销模式转变.因此,客户划分显得至关重要.采用数据挖掘中聚类的方法对电信业的客户进行划分,在比较了现有聚类算法计算复杂度普遍较高的的基础上,采用了一种基于空间定位的方法,将客户数据对象映射到特征空间中,并利用空间立方体的某些特殊顶点定位任意数据,通过计算数据点与空间立方体顶点群的距离差异,完成聚类过程.为了适合电信业客户的特殊性质,改进对客户属性数据的处理过程.通过电信客户的数据实验结果表明,算法的时间复杂度降至 O(N) 级别.     

基于图的最大频繁项集的生成算法

挖掘频繁项集是数据挖掘的重要技术之一,目前已有很多经典算法,如：apriori算法,FP-tree等.挖掘频繁项集主要是寻找最大频繁项集,为了快速寻找最大频繁项集,通常采用削减候选项集、减少扫描数据库次数的方法和将自底向上与自顶向下的搜索方法结合起来（又称双向搜索）.双向搜索能有效地缩减搜索空间.本文把基于图的关联规则挖掘和双向搜索的思想结合起来产生最大频繁项集,提出了基于图的最大频繁项集生成算法.此算法用图将数据映射到一个向量上,通过一遍扫描数据库就可以构造整个频繁项集,结合双向搜索,能快速生成频繁项集,对产生较大长度的最大频繁项集也有较好的效果.文末,把基于图的关联规则挖掘算法和基于图的最大频繁项集算法进行了比较,分析出性能差别的原因.     

基于Spark的多策略蚁群算法求解最大团问题

社会网络分析目前是数据挖掘领域的研究热点之一,凝聚子群是测量社会网络结构的重要指标,而最大团结构是社会网络中最紧密的凝聚子群,最大团问题的研究也成为社会网络分析的一个重要角度.随着大数据的发展,图中节点的丰富性和边结构的复杂性对求解最大团问题提出了更高的要求.为此提出了一种基于Spark的多策略蚁群算法求解最大团的算法.首先,该算法利用多条件选点策略扩大搜索空间,增加可行解的多样性,避免了陷入局部最优解;然后,采取一个局部搜索策略来提高该算法的精度和收敛速度;最后,在Spark分布式平台上并行地实现了该算法,验证了算法的并行性,证明该算法提高了算法处理大规模社区网络的执行效率.     

一种基于改进动态规划思路的众核软件映射算法

众核软件映射到处理器核心上,形成流水线执行,有利于挖掘软件任务模块的并行性,提高系统吞吐率.提出了一种基于改进的动态规划思路的软件映射算法,算法通过将图划分问题近似分解为多个子问题,通过寻求每个子问题的最优解进而获得全局最优解.动态规划思路的改进主要体现在实时更新可选任务节点和动态调整子图期望负载两方面,这有利于划分后的各子图负载更均衡.实验结果表明,算法在提高系统吞吐率方面均优于现有相关算法.     

一种基于改进的动态规划思路的众核软件映射算法

众核软件映射到处理器核心上,形成流水线执行,有利于挖掘软件任务模块的并行性,提高系统吞吐率.提出了一种基于改进的动态规划思路的软件映射算法,算法通过将图划分问题近似分解为多个子问题,通过寻求每个子问题的最优解进而获得全局最优解.动态规划思路的改进主要体现在实时更新可选任务节点和动态调整子图期望负载两方面,这有利于划分后的各子图负载更均衡.实验结果表明,算法在提高系统吞吐率方面均优于现有相关算法.     

基于社会网络分析的P2P网络挖掘

设计并实现了一种在P2P网络中基于社会网络分析的数据挖掘算法。该算法可以挖掘出P2P网络中的中心节点、关键节点和社区结构,这为P2P网络的激励机制确定给哪些节点相应的激励措施提供了有效依据。     

两个经典频繁子图挖掘算法的对比与分析

AGM算法和HSIGRAM算法是两个经典的频繁子图挖掘算法,在基于图的数据挖掘中有重要的应用.从算法思想和应用技术两个方面分析了AGM算法和HSIGRAM算法的异同点,结合基于图的数据挖掘的特性,提出针对这两个算法的改进策略.     

基于数据挖掘的网络业务流分析方法

为了从业务角度对网络的性能进行评价和优化,提出了一种新的网络业务分析方法——具有时态路径约束的关联规则挖掘分析方法.该方法以网络业务为分析粒度,以与网络业务流相关的时态属性和路径属性为约束条件,对已经积累的反映网络状况的海量历史数据进行挖掘分析.在进行关联规则挖掘时,利用频繁数据项集的性质,通过引入事务标号,在求出候选频繁项集的同时也求出其支持度,避免了为求支持度而进行的扫描数据库运算,极大提高了挖掘的效率和速度.实验结果表明,进行挖掘分析的数据量越大,该方法的性能和效率就越好.     

SNA技术在机构关系分析中的应用

为获取同类机构的关系信息,设计一种基于社会网络分析(SNA)技术的机构关系分析过程.以社会科学院机构为例,构建社会关系网络,定量和定性描述机构的学科特性,在此基础上分析机构在学科归属上的共现关系,再通过分层聚类,展现所有机构的关系分布状态和整体网络属性.实施过程表明,SNA技术在机构关系分析中具有良好的应用价值.     

动态社会网络中的社区挖掘算法研究

为解决社区挖掘问题,针对社会网络的动态特性,给出了新的社区定义,并结合连通性和频繁性概念提出一种新的算法DCSMA(Dynamic Community Structure Mining Algorithm)。挖掘时刻连通的个体集合作为社区,采用层状结构模型,根据重要性权重区分社区内个体,使社区结构更加清晰。在标准测试数据集上的实验结果表明了该算法的可行性和有效性。     

基于数据挖掘的智能入侵检测系统模型及实现

入侵检测作为主动的安全防御技术,是计算机网络中继防火墙之后的第二道安全防线,是近年来网络安全领域的研究热点.研究了基于数据挖掘的网络入侵检测系统的建模及实现,建立融合简单规则、协议分析、数据挖掘分析为一体的模型,其中着重讨论了基于数据挖掘技术的网络入侵检测系统的实现方法.     

社会分层机制的网络嵌入视角初探

社会学关于社会分层机制的研究,主要存在结构-功能视角、个人建构视角、网络分析视角和制度分析视角,它们彼此之间在方法论上存在系列的对立。当代西方社会理论的方法论综合,为我们提出一种综合性视角提供了重要启示。这种综合视角可以称为网络嵌入视角,其最主要的特征是主张社会结构与个人能动对于社会分层的影响都是以社会关系网络为中介的,从而可对当前我国制度结构转型背景下复杂的社会分层机制提供全面的描述与适当的规范评价。     

基于社区挖掘的网络业务监控方法

网络业务监控通常应用于大型企业级网络监控,通过分析企业网中承载的业务数据,实现对网络中业务类型及不同业务对应的终端分布情况的监测.提出了一种基于社区挖掘的网络业务监控方法,该方法的输入为企业网中IP通联数据,通过构建IP通联图,并基于IP通联图进行社区挖掘,输出IP通联社区,每个社区代表一种业务类型,社区内节点代表相应的业务终端.通过对某大型跨国企业网络数据的实证分析,发现与传统业务监控方法相比,该方法不仅能够有效发现各业务网络,实时监控业务网络状态,且能对网络中出现的新业务进行预警.     

数据挖掘在电信中的应用分析

介绍了数据挖掘产生的背景、数据挖掘流程和功能,分析了数据挖掘在电信业中的几种应用,包括客户流失分析、客户获取、交叉营销、客户细分、市场分析、欺诈行为分析及网络告警分析。     

基于静态和动态的社会网络挖掘算法

基于社会网络的静态和动态特征, 研究社会网络中的社区发现问题. 针对静态社会网络, 提出了边的Ξ系数及紧密度阈值等概念和Detstructure算法; 针对社会网络的动态特性, 提出了基于衰减策略的融合挖掘算法. 所提出的两种算法在应用中都取得了较好的效果.