基于云计算平台Hadoop的HKM聚类算法设计研究

为有效解决传统K-means聚类算法在处理大规模数据集时面临的扩展性问题,提出了一种Hadoop K-means聚类算法.该算法首先根据样本密度剔除数据集中孤立点或者噪声点的影响,再利用最大化最小距离思想选取K个初始中心,使初始聚簇中心点最优化,最后用Hadoop云计算平台的Map Reduce编程模型实现算法的并行化.实验结果表明,该算法不仅在聚类结果上具有较高的准确率和稳定性,而且能够很好地解决传统聚类算法在处理大规模数据时所面临的扩展性问题.     

多任务集实时交换局域网高速调度方案

研究对象是交换式实时局域网.一个交换机中,多个实时任务可能要经由同一出口,因而可以看作一个实时任务集.多个出口可对应多个实时任务集,且有的任务可能会出现在不同的任务集中.传统的自动调度算法难以直接应对这样的环境.因此,提出了一种EDF-A(earliest deadline first-adjustment)算法,旨在对单个任务集的调度方案进行调整,以尽量满足所有任务集的时间指标.同时为应对不断提高的网络速度,还对所用方案采用全硬件快速实现作了详细描述.     

基于卷积神经网络的面部图像修饰检测

为避免人为因素对人脸面部图像皮肤纹理特征提取产生的影响,用卷积神经网络算法对人脸图像修饰进行检测.传统的图像分类方法需要进行复杂的人工特征提取,而卷积神经网络可以自动学习并直接从图像中获取特征,解决了传统模式识别方法特征提取难的问题,具有更高的识别率和更广泛的实用性.在传统卷积神经网络模型中,调整卷积核大小、减少参数、改变卷积层滤波器数量、调整卷积层和池化层的交替方式、使用dropout来提高模型泛化能力以形成适用于人脸修饰检测的新的网络模型.实验结果表明,在引入的数据集上,新的网络模型对人脸图像的修饰检测有较强的鲁棒性,达到了较高的识别率.     

激光雷达在地下矿井障碍物检测中的应用

【目的】地下矿井是自动驾驶技术实现落地应用的一个重要场景，障碍物检测是自动驾驶感知算法的重要组成部分，现有的检测算法多存在准确性不高、实时性不够等问题。【方法】针对检测算法中存在的问题，本研究提出一种适用于地下矿井障碍物检测的算法，使用该算法对激光雷达点云进行处理。首先，对地下矿井中的路面存在坡度的场景，提出多平面拟合的地面分割方法，准确地提取高程障碍物点云。其次，优化密度聚类算法，采用自适应阈值的组合参数，实现对障碍物的检测。【结果】本研究基于公开数据集和地下矿井实际采集数据集进行验证。【结论】本研究提出的算法具有良好的障碍物检测效果。     

应用粒子群算法的重叠社区发现

随着大数据的出现,越来越多研究者对复杂网络的社区发现感兴趣,现有社区发现算法大多为检测不重叠社区的.提出一种基于粒子群算法的重叠社区划分法,初始粒子群时考虑非法划分的产生,用标签传播法调整每个粒子的编码.在一种经典数据集上测试,验证了该算法有效性,能快速检测出网络中潜在的社区结构.     

CFMoment:挖掘数据流频繁闭项集算法

在数据流上挖掘频繁闭项集是数据挖掘中关联性挖掘的重要研究课题之一.该文提出了一种高效的数据流频繁闭项挖掘算法——CFMoment,通过使用滑动窗口不断维护数据流中的频繁闭项集,可适用于实时性要求较高的多种数据流处理应用环境.该算法利用项目的有效比特序列表示来减少滑动窗口所需的时间和内存,进一步提升了在数据流中挖掘频繁闭项集的效率并有效降低了运行过程中的内存需求.实验表明,该算法不仅获得了高精度的挖掘结果,而且其运算速度明显快于现有的Moment算法,在数据流上挖掘频繁闭项集的内存消耗更少.     

基于模糊频繁模式的数据流关联规则挖掘方法

为了获得流格式数据集的规则挖掘以及降低挖掘过程中的计算开销,提出一种基于动态模糊频繁模式的数据挖掘方法 .首先,确定一种滑动窗口区分新旧事务,以处理连续产生的数据流;然后构建动态模糊频繁模式树(DFFMT),随着滑动窗口的变化,给每个删除的旧窗格添加相应算法,且插入新窗格;最后,当DFFMT构建完成之后,根据当前窗口推理模糊关联规则.两个公开数据集的实验验证了提出方法的有效性.与其他同类方法相比,提出的方法只需要检索数据库一次,可以处理大量的流格式数据集.同时,运行复杂度和存储复杂度表现也较优.     

DMVR:一种基于Cache的动态物化视图置换算法

采用硬盘cache机制实现的物化视图选择算法具有良好的动态适应能力,能够根据用户查询的变化即时地进行物化视图集的调整,但这类算法都是基于内存机制的简单移植,未考虑物化视图从硬盘回读的代价,在代价模型构建方面存在不足,为此提出一种基于cache的动态物化视图置换算法DMVR,其具有严格的数学模型,可以很好地适用于物化视图的动态选择与调整.同时为了适应系统负荷率较高的情况,又提出了DMVR的改进算法DMVR-IDLE,以保证高频度查询条件下数据仓库对用户查询仍具有较好的响应速度.实验表明DMVR算法与DMVR-IDLE算法是有效可行的.     

时序数据故障点检测方法分析比较及应用

比较了3种不同的时序数据故障点检测算法.基于引力的孤立点检测算法考虑了数据对象周围的密度及数据之间的距离等因素.基于均值变点的检测算法则侧重于考察故障点周围统计量的变化,而非故障点的局部范围内统计量保持未定.第三种基于均值方差变点估计的检测算法则研究了时序数据中均值和方差两个统计量都存在变点且变点时刻不相同时的变点估计问题.试验表明基于引力的算法比其他两种效果要差,而基于均值变点检测算法的计算效率要比基于均值方差估计检测算法要高.     

密度相关的数据流偏倚抽样

利用数据空间动态网格划分的方法,对数据流空间的数据分布密度情况进行模拟,并在此基础上提出了一种基于密度的偏倚抽样方法.为验证该抽样方法的有效性,将其应用到数据流中的聚类挖掘,实验结果表明该算法具有良好的适用性和有效性.     

一种改进的局部离群数据检测算法

针对传统局部离群数据检测算法时间复杂度高、参数鲁棒性差的问题,在基于连接的异常因子(Connectivity based outlier factor,COF)算法的基础上,提出了一种基于聚类和密度的局部离群数据检测算法。利用聚类方法从原始数据集中筛选出候选离群数据集,来降低算法的时间复杂度;在进行数据对象之间距离计算时,引入信息熵的概念确定数据对象的离群属性,以提高算法的检测准确率。确定数据集的离群属性后,采用新的局部链接离群因子(Local connectivity based outlier factor,LCOF)度量候选离群数据集中数据的离群程度。此算法在保证检测准确率的前提下,降低了时间复杂度和检测准确率对参数的依懒性。仿真结果证明了所提方法的有效性和可行性。     

粗粒度部分动态可重构的人脸检测

人脸检测系统应用在嵌入式环境中需满足多种约束,高计算密集性、控制密集性是实时实现困难的主要原因. 文中提出一种基于名为“REMUS-II”的粗粒度动态可重构架构的人脸检测系统,把层叠型AdaBoost检测算法划分成多个非连续子任务,通过邮箱通信调度、配置流和数据流优化方法来提高指令级并行度和任务级并行度.实验结果表明,检测分辨率为640£480 的图片可获得17 帧/s 的平均检测速度,正面人脸检测率保持在95% 以上.在TSMC 65 nm CMOS工艺、200 MHz工作频率下,REMUS-II 面积约为24 mm2,功率约为194 mW.     

数据流上异常数据的在线检测与修正

给出了带有遗忘因子改进的Kalman滤波预测算法,能够检测未来时刻的异常数据;提出了一种新颖的数据流上的异常数据修正方法,应用插值小波根据连续异常数据数量的不同,实现了可变插值尺度的异常数据修补,能够自适应修正精度.在实际电力负荷数据上的仿真实验证明这种方法可以在线准确地检测到异常数据,并能提供精确的异常数据修正.     

改进K-means算法对大兴安岭蓝莓干销售预测的应用

K-means算法对噪音数据和孤立点敏感,致使其在应用方面存在很大的局限。传统的Kmeans算法在除噪阶段多以人为和经验判定噪音点或单纯从平均数角度剔除孤立点,造成聚类结果准确度难以保证。以大兴安岭地区精品蓝莓干商品为研究对象,基于DBSCAN算法辅助Kmeans算法去噪,用定量的方法解决K-means去噪欠缺合理性的问题。结合ARIMA模型加以验证聚类预测的结果,与实际值匹配度达到95%以上,明显高于未改进算法。     

动态环境下混合生产的Makespan调度方法

针对动态生产环境下混合生产的最小完工时间(Makespan)调度问题,借鉴于预测控制的思想,用滚动优化的原理求解.提出可操作集的概念,将动态环境下的调度问题合理分解,并将所得的子问题规范化,并给出适用小规模问题的基于混合整数规划的算法,对于较大规模的问题给出快速收敛的启发式算法.仿真算例表明方法的可行性.     

基于一种改进K-means算法的入侵检测系统研究

为了提高入侵检测系统的实时性和可靠性,基于传统的K-means算法应用于入侵检测系统的有效性和由于随机初始聚类中心而存在的缺陷,基于此缺陷而改进为选取已经初始化的聚类中心距离乘积最大的点为初始聚类中心,并将其运用到入侵检测领域。这种方法可以有效检测出不同类型的入侵行为,并且在KDDCUP99数据集的实验中取得了预期的效果。     

数据流处理系统的负载控制策略研究

在高速网络数据流查询处理系统中,数据到达可能是突发性的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,应用闭环控制理论进行系统负载控制,充分利用系统资源,在系统过载时降低存储需求,提高适应性和精确度．     

关联规则增量式更新算法的研究

关联规则是数据挖掘中的重要研究内容之一,国内现有的关联规则算法大多是研究挖掘数据库不变的限定条件下,发现挖掘数据的各属性间的所有关联型知识.而事实上大多数挖掘数据会随时间的变化不断变化.针对数据库中追加数据时,如何有效地更新关联规则的问题,提出了一种新算法———IUAMAR算法.该算法可以有效地利用知识数据库中保留的最小非高频繁项目集产生新的候选项目集,避免了候选项目集的数量太庞大的问题.     

面向分布式数据流系统的可扩展负载平衡算法

分布式数据流系统中,数据处理任务由多台计算机相互合作共同完成.当输入数据流速发生较大波动时,会引起部分节点过载,从而影响整个系统的数据处理能力.针对这一实际问题,文中分析了分布式数据流系统的特点以及现有负载平衡算法的局限性,提出了一种适用于由不同性能计算机组成数据流系统的,具有良好扩展性的负载平衡算法.实验结果表明了算法的有效性.     

基本矩阵随机采样鲁棒估计

提出一种新的基本矩阵鲁棒估计算法:随机采样算法,对含有大量出格点的数据点集,利用7个对应匹配点的最小子集来估计参数;然后在不同的子集重复多次,确保任何一个子集都含有一个好的数据点的机率达到95%.最优估计值是残差低于门限值点数最多的子集,一旦从数据点集剔去出格点,利用没有出格点的数据就可以得到最终估计值.用真实图像测试表明该算法鲁棒性好,精度高.