基于HLA和Agent的分布式微观仿真框架的研究

计算机技术的不断发展,使得利用计算机仿真程序作对现实世界研究的应用越来越多.由于性能以及规模上的限制,目前多数仿真研究的领域为基于数据分析的类宏观仿真.微观仿真技术的难点在于模拟每一个实体的模拟运算量以及对于仿真系统快速响应的要求.通过合理使用分布式计算技术并结合现有的仿真平台HLA,利用微观模型工具JADE,我们提出了一个一般意义上分布式微观仿真的抽象框架,包括时间管理策略,实体行为,交互式消息机制模型等.通过对原型系统的测试结果表明,该框架设计能很好的适合大规模分布式微观仿真的应用.     

基于Hadoop云平台的并行数据挖掘方法

业界已经开始运用云平台来处理海量高维数据,将各种异构系统仿真为一个系统,其中在Hadoop环境进行数据挖掘会遇到数据模型的全局性、HDFS的文件随机写操作、数据生命周期短等问题.为解决这些问题,在Hadoop上实现高效海量数据挖掘,提出了在Hadoop上一种高效数据挖掘框架,利用数据库来模拟链表结构,管理挖掘出来的知识,提供了树形结构、图模型的分布式计算方法;在此基础上实现一个统计算法——Yscore分箱算法,以及决策树和KD树的建树算法;并利用Vega云对Hadoop集群进行仿真.实验数据表明该框架和算法实用可行,且可能拓展与数据挖掘之外的其他领域.     

基于遗传优化的采样模糊C均值聚类算法

在数据挖掘领域,模糊C均值聚类法(FCM)在处理小量低维的数据挖掘时是有效的,但是面向数据库的数据挖掘经常要处理大量、高维的数据.在这种情况下,FCM算法在时间性能上难以令人满意.本文基于采样技术对FCM算法进行改进,以提高算法的时间性能,并利用遗传算法对聚类结果进行优化以保证聚类的质量,给出了一种新的基于遗传优化的采样模糊C均值聚类算法SFGO(SamplingFCMwithGeneticOptimization).仿真实验证明SFGO算法在大规模数据库的聚类挖掘中,在时间性能和聚类质量上都能获得较满意的结果.     

基于数据流频繁子图挖掘的可疑金融交易动态识别

目前,我国基于交易上报制度和静态数据挖掘的可疑金融交易识别方法存在着监测覆盖面窄、识别时效性差两大瓶颈问题。一种可行的改进是在现有方法中引入对可疑金融交易的动态识别,其中需解决的关键问题是如何及时有效地从大规模动态数据集中发现相应的可疑交易特征。设计一种基于数据流频繁子图挖掘的可疑关联特征动态识别算法,并用实验证明该算法的可行性和有效性。     

基于支持向量机的分布数据挖掘模型DSVM

针对分布环境的数据挖掘要求,提出了基于支持向量机的分布数据挖掘模型DSVM.定义了DSVM中特征多叉树的概念,描述了基于移动Agent访问分布数据集来构建特征多叉树的方法,阐述了通过特征多叉树来反映分布环境各数据集属性总体特征的思想,并利用该数据结构和支持向量机的特点,提出了基于壳向量的分布式支持向量机增量算法来修正和完善特征多叉树,最终实现分布环境下全局的数据挖掘.实验结果表明,该模型有效地解决原有分布环境下其他挖掘算法存储开销大、执行效率差、安全性和隐私性低等问题.     

基于决策树的快速SVM分类方法

为提高支持向量机（support vector machine, SVM)算法对大规模数据的适应能力,加快SVM算法的分类速度,提出一种基于决策树的快速SVM分类方法。该方法的重点在于构建一棵决策树,将大规模问题分解为相对简单的子问题,树中节点由线性支持向量机组成,每个节点包含一个决策超平面,分类过程取决于节点的数量。此方法在分类复杂样本时避免了使用非线性核函数。并且由于使用线性核函数,则不用进行模型选择,进一步加快了样本的分类速度。实验表明,针对大规模多特征数据的非线性分类问题,该方法比传统方法具有更高的速度。     

基于多任务学习图卷积模型的航空网络节点分类

准确识别航空网络关键节点, 做好针对性防护, 对于保证航空网络正常运行至关重要。传统的方法, 如基于复杂网络中心性指标的方法, 或基于机器学习的算法, 只单一考虑网络结构或节点特征来评价节点的重要性。然而评价节点的重要性应该同时考虑网络结构特征和节点特征。为解决上述问题, 本文提出了一种名为多任务图卷积网络(multi tasks graph convolution network, MTGCN)航空网络节点分类模型, 该模型在图卷积网络的基础上, 引入多任务学习及自适应加权策略, 将“节点—节点相关性”作为辅助任务加入模型的训练过程中, 并根据训练情况自适应分配各任务权重。3个不同规模的航空网络数据集中的仿真实验表明本文所提模型的性能优于现有的图卷积模型, 为图卷积在航空网络节点分类方向的应用提供了思路。     

分布式对象计算环境下系统容错服务的动态行为描述

分布式对象技术是面向对象技术同分布式计算技术的结合产物 .大规模的分布式对象计算系统要成为高可靠性的系统 ,就必须解决对象失效、节点错误、网络隔离和不可预知的通信延迟等问题 .本文中设计了一种名叫对象容错服务 ( OFS)的解决技术 ,并采用一种基于面向对象高阶 Petri网的形式化方法描述系统的动态行为 .形式化描述方法的采用为 OFS的实现提供了有益的帮助 .     

网络节点重要度的快速评估方法

对网络节点进行重要性评估, 快速发掘重要性节点已经成为数据挖掘、复杂网络中的一个基本问题, 现有的节点重要度评估方法对于大型网络而言, 计算速度较慢. 基于电阻网络提出一种快速实用的节点重要度评估方法, 该方法利用节点对网络电能消耗的影响来评估节点的重要度, 如果由于一个节点的存在而导致网络平均电能消耗减少, 则该节点就越重要, 反之则该节点重要度就低. 该方法的时间复杂度为O(n³), 在分布式扩展的情况下可达到O(n), 实验分析证明了该方法的有效性, 而且运算速度快, 能处理大规模网络.     

面向多核CPU多GPU的节点内并行混合绘制模型

分布式并行绘制集群节点可以配置多核CPU和多个GPU构建节点内多CPU多GPU系统。现有的节点内并行绘制模型既没有充分发挥多核CPU的强大计算能力,还将绘制、读回和合成阶段串行耦合在一起导致了大量的GPU闲置停顿,严重影响了节点内并行绘制性能。提出了一种节点内高效的并行绘制模型,通过软件绘制与硬件绘制相结合的方法将硬件绘制与图像合成分离,同时利用DMA异步传输机制,构建了节点内绘制、读回和合成三段并行绘制流水线。与现有节点内并行绘制模型相比,并行混合绘制模型不但降低GPU资源闲置率,而且提高了CPU资源使用率。理论分析与实验表明相同应用采用并行混合绘制模型的性能可以达到现有模型的3~4倍,并且具有更好的数据扩展性、性能扩展性。     

基于MapReduce的大规模数据集流形学习降维研究

信息技术的快速发展导致了数据规模的爆炸式增长，传统的机器学习、数据挖掘算法面临新的 挑战. 流形学习克服了传统线性降维算法的不足，成为十年来降维研究的热点领域. 然而流形学习 算法复杂度高，对于大规模的数据集并不适用. 针对大规模数据集下的流形学习降维问题，提出了 基于MapReduce 的分布式流形学习算法. 该算法采用局部敏感哈希函数将相似点映射到同一个桶中，利用流形具有局部欧氏同胚的性质，在每个桶内采用欧氏距离度量点之间的测地距离，桶之间采用 中心点及边缘点来计算修正的测地距离. 在大规模的人工合成数据集和真实数据集上的实验表明，该算法能有效地估计数据点间的测地距离，适用于处理大规模数据集的降维问题.     

基于云计算的网络软件市场占有率统计与预测模型

恰当的产品市场占有率模型可以用于预测产品的市场竞争力,目前大多数模型和方法使用的数据集往往是来自调查、观测报告这些静态历史数据,不能很好的应对动态多变的网络软件市场.针对网络软件、游戏产品领域,首先提出了一种云计算下基于MapReduce编程模型的网络软件使用情况采集方法,根据网络软件产品更新频繁、用户群体大的特点,结合云平台强大的计算处理能力,可对不同网络地址段及时、灵活的统计产品使用信息,并利用马尔科夫预测方法对采集数据进行经济预测,为网络软件的相关企业提供必要的决策依据.最后给出了模型的简单应用实例,验证模型的可行性.     

一种基于高斯过采样的集成学习算法

在数据挖掘研究领域,分类任务广泛存在着数据分布不均衡问题,例如制造状态检测,医疗诊断,金融服务,等等.SMOTE是处理不均衡数据分类问题的常用技术,与Boosting算法相结合可进一步提升分类系统性能,但是这种集成学习容易导致基分类器多样性缺失.基于此,本文提出了一种基于高斯过程SMOTE过采样的Boosting集成学习算法(Gaussian-based smote in boosting,GSMOTEBoost).该算法在Boosting集成框架下构建不均衡学习模型,为了提高分类系统的鲁棒性,采用基于高斯过程SMOTE过采样技术来增加基分类器训练样本的多样性,从而提高基分类器之间的差异.为了验证算法的有效性,以常用的处理不均衡分类问题的算法作为对比方法,采用KEEL数据库里的20个标准数据集对算法进行测试,以G-mean,F-measure以及AUC作为算法的评价指标,利用统计检验手段对实验结果进行分析.实验结果表明,相对于其他算法,本文提出的GSMOTEBoost具有显著的优势.     

面向多类别分类问题的子抽样主动学习方法

由于传统主动学习方法的计算量随着问题规模的增大呈指数增长, 因此很难应用于大规模多类数据分类任务中。为解决该问题, 设计了一种基于子抽样的主动学习(subsampling-based active learning, SBAL)算法。该算法将无监督聚类算法与传统主动学习方法整合, 在二者之间增加了子抽样操作, 该操作能够显著降低算法的时间复杂度, 在保证实验准确率的基础上减少实验耗时, 从而更加高效地处理大规模数据集的分类问题。实验结果显示, 采用SBAL算法的实验性能优于传统主动学习算法, 证明了所提算法可以突破传统主动学习方法不能处理大规模数据集多类别分类问题的局限性。     

基于社会计算和机器学习的垃圾邮件快速过滤

在对当前垃圾邮件过滤方法进行研究和分析的基础上,本文将社交网络的概念用于垃圾邮件识别,并提出了一种将社会计 算和机器学习相结合的垃圾邮件过滤方法,以减少垃圾邮件的误判率.为了提高邮件过滤的实时性,我们利用Hadoop平台 所提供的MapReduce模型进行分布式并行处理.对 比实验结果表明,我们所采用的识别方法的识别准确率和识别效率都有较大的提高,尤其是降低了正常邮件的误判率.     

DBMiner数据挖掘平台及其应用

数据挖掘是智能信息处理的重要工具。介绍DBMiner数据挖掘平台的组成和原理，提出了多重知识模型的分层数据挖掘方法。基于综合衡量准则的决策性生成算法改善了生成决策树的结构和分类精度，基于遗传算法的n维空间优化参数的搜索算法。该数据挖掘平台已应用于多个应用领域均取得满意结果，介绍了在多元合金材料预报和家庭远程医疗监护方面的应用。     

基于元学习技术的分布式采掘关联规则研究

关联规则是数据采掘中的重要研究内容。本文利用元学习技术提出了在分布式交易数据库环境下,分布式采掘关联规则的一种方法和相应算法DMAR。该算法具有较高的采掘效率和较低的数据通信量。定义了衡量采掘算法效率的分布式因子g,并指出算法的采掘效率和数据通信量与g值的大小有关。最后通过实验验证了该算法的正确性和有效性。     

一种基于“独立性差”的分类学习新算法

从"独立性差"角度出发,提出了ISE准则下的"独立性差"估计新方法(difference of independence estimation,DOIE).从数学模型上证明该算法与单类SVM等价且可用于解决分类问题.当数据集规模较大时,该算法的优势在于可用较少样本点表示两数据集中样本点间的关系,在保证精度的前提下,提高运算速度.该算法还可应用于两数据集独立性判断、检测流数据分布改变点的位置.若退化为单类数据集,可应用于概率密度估计.Benchmark和UCI数据集上的实验表明,该算法具有较好的性能.     

DIS与DVR技术结合在战斗机空战仿真中的应用

为适应大规模分布式空战仿真训练的新趋势，以战斗机空战仿真软件研制为背景，分析了空战仿真训练的新特点及分布交互式仿真（DIS）与分布式虚拟现实（DVR）的关系，研究了分布式虚拟现实在战斗机空战仿真中的网络通信、实时性和可扩展性等关键技术及系统的组成结构。该系统研制成功，对于开发高质量的空战仿真软件和进行军事训练具有重要意义。