数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

基于决策树的流数据分类算法综述

流数据是一种有别于传统静态数据的新的数据形态,随着时间的推移而不断产生,而且富含变化.流数据分类是数据挖掘的研究分支,用于发现数据中隐含的模式并实现数据的类别划分,通常将每一个类别称作概念.将传统决策树算法引入流数据分类,针对流数据的特征提出特定的分类算法,是流数据分类的一个主要研究分支.为了全面介绍基于决策树的流数据分类算法,首先,简要概述数据挖掘及主要任务、决策树及其主要算法、流数据及其主要特性;然后,按照算法是否考虑概念漂移问题,将现有工作划分为包含概念漂移的流数据分类算法和不含概念漂移的流数据分类算法两大类,分别介绍每一类算法的主要算法流程、优缺点和典型应用;最后,指出基于决策树的流数据分类的进一步研究方向.     

多传感器数据的处理及融合

针对多传感器数据的多样性, 提出一种改进的数据融合算法. 首先, 利用小波技术消除已收集数据的高斯白噪声并对数据进行压缩; 其次, 对处理后的数据进行分层, 并对系数进行Kalman滤波, 同时利用Mallat快速重建算法重构数据; 最后, 利用最大、 最小贴近度计算传感器数据的信噪比, 并通过信噪比进行数据融合. 基于实际采集的多传感器数据对比实验结果表明, 该数据融合算法在稳定性上优于简单加权数据融合、 小波数据融合和Kalman滤波融合等算法.     

云计算和大数据环境下工作流数据感知调度

为了解决具有数据约束的工作流多标优化调度问题,提出了一种在保证业务逻辑前提下并考虑数据约束的数据感知调度算法.首先通过将工作流调度建模为一个多目标优化问题,开发了一种数据感知蚁群算法(DACO)来搜索最优调度方式,其次在该算法中将判断每个任务所需的数据量和任务之间的数据约束,感知每个业务之间的数据流,最后分治策略来搜索最优调度.实验结果表明,该算法在效率和成本效益方面优于现有的求解方法.     

基于数据累积的P2P流媒体自适应数据调度

综合考虑数据回放的紧迫性和数据分布的有效性,尝试将贪婪算法和最少优先算法结合起来,提出了一种基于数据累积的自适应数据调度算法.以数据在本地缓存的累积量为平衡因子,动态调节数据选择的权重,从而可在维持接收节点较高的播放质量水平的同时,改善数据在系统的分布度.仿真实验表明在多种实验参数条件下该调度算法均具有较好的性能.     

支持向量机算法用于癌症数据建模

支持向量机算法(Support Vector Machine)是基于统计学习理论(SLT)发展起来的新一代机器学习方法,并被成功地应用到很多模式识别问题中。文中支持向量机分类算法用于卵巢癌病变与非卵巢癌病变质谱数据建模。对卵巢癌数据进行判别预测,预报正确率达到98%。通过与KNN、神经网络等算法的预报结果相比较,其预报能力强于KNN、神经网络算法在这个问题中的应用,为支持向量机算法可以应用于癌症疾病辅助检测提供一例证。     

计算机据低分辨质谱数据推算分子式的方法研究

本文探讨了利用计算机解析质谱的方法,着重介绍了依据低分辨质谱数据推算有机化合物分子式的算法.     

非结构化云数据管理系统不稳定数据分区识别算法

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,"数据膨胀"将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文中提出了一种不稳定数据分区的识别算法.首先面向非结构化数据管理系统,通过引入云模型理论对存储系统中的数据分区进行云建模,识别出不稳定的数据分区,然后调用相关算法对其进行重新布局.实验结果显示,不稳定数据分区识别算法可以有效地识别出不稳定的数据分区,对其重新布局后,降低数据传输开销的效果显著.     

基于数据浓度的粗糙集规则生成算法分析

大部分粗糙集学习算法进行性能分析时只考虑到数据集的规模,并不考虑等价类分布等特点.基于数据饱和度和数据浓度这2个数据集特性,对规则生成算法进行分析,通过对比实验说明了数据的饱和度和浓度对规则生成算法性能有重要的影响.     

具有数据清理功能的交互式数据迁移及应用

针对众多论文对数据迁移的研究多是泛泛地介绍数据迁移的方法,而没有考虑数据迁移过程中的数据清理问题,提出了一种具有数据清理功能的交互式数据迁移技术.该技术把数据迁移和数据清理紧密地结合在一起,具有开放的规则库和算法库.通过在规则库中定义规则以及从算法库中选择合适的清理算法,不仅能灵活、准确地完成数据的迁移,还能保证数据迁移后新系统的数据质量.该技术被应用于医疗保险信息系统再工程项目,取得很好的效果,从而说明这种数据迁移技术在实践中是可行的.     

基于无监督学习的数据清洗算法

为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法.该算法采用基于Hebbian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级.在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删除错误的聚类,从而避免了死神经元问题并使聚类更加准确.实验表明,该算法能准确地完成实体识别.     

嵌套数据记录列表页的Web信息抽取

在已有嵌套数据挖掘算法的基础上,加人了数据区域挖掘算法,根据构造出的嵌套数据列表页的标签树,找出所有的数据区域,再对数据区域进行统一处理,对所有子树应用部分树对齐算法进行匹配,生成全局模式,进而抽取出所有数据记录.与原算法相比,改进后的算法在确保准确性的基础上,有效地提高了原算法在处理多数据区域时的效率.     

基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.     

面向大规模数据的模糊支持向量数据描述

针对支持向量数据描述面临的噪声数据敏感问题和大规模数据分类问题,提出面向大规模数据的模糊支持向量数据描述.该方法引入模糊理论和核心向量机,不仅在构造最小超球体时忽略对分类结果影响较小的数据,而且将支持向量数据描述的适用范围从中小规模数据扩展到大规模数据.人工数据集和标准数据集上的实验表明新算法的有效性.     

联机数据挖掘中的数据预处理

 探讨了联机数据挖掘中海量数据的预处理问题.提出了基于立方体的数据预处理算法.该算法可对数据进行有效的收集,并可有效地约简数据.实验证明对于数据泛化,这种预处理是很有效的.     

成分数据中基于MCLasso的修正EM算法

针对成分数据中含有近似零值,对其作对数比变换后就会出现无穷值,从而影响对数据的进一步分析.提出了一个新的修正EM算法来处理成分数据中的近似零值问题,针对EM算法的缺点对其进行一些改进,即:对EM算法的E步用Monte Carlo方法改进,对EM算法的M步用Lasso算法进行改进.对新的方法进行实证分析,并与基于线性回归的修正EM算法、基于均值插补法和Bootstrap的修正EM算法进行比较研究,验证了该方法的有效性.     

一种基于布隆过滤的快速冗余数据块发现算法

分析了影响FP查询速度的原因,并在此基础上提出了一种新的基于二级串联布隆过滤的冗余数据块发现算法.实验结果表明:该算法在FP查询性能及数据存储速度方面优于已有算法.     

基于灰值区间的微阵列模拟数据生成算法

针对微阵列芯片数据采集量大、 获取成本高的问题, 提出一种新的基于灰值区间的微阵列模拟数据生成算法. 该算法通过灰值度量的方式模拟微阵列数据中基因的差异表达属性, 结合聚类分析方法创建聚类隧道, 进而产生与原始数据具有相似数理分布及生物学意义的模拟数据. 采用模拟数据和真实生物数据对算法进行实验验 证与分析, 实验结果表明, 基于灰值区间理念与聚类隧道产生机制生成的模拟数据是有效且可靠的.     

数据加密技术在计算机网络数据安全中的应用

信息时代计算机网络海量数据安全传输成为难题,为此在Hadoop大数据环境下提出AES数据加密方案.AES算法通过轮密钥加、字节替换、行位移、列混淆等步骤进行数轮明文加密,在Map Reduce架构下明文数据被划分成多个数据分片,Map函数负责AES算法加密操作,Reduce函数合并加密后的数据信息,最后在HDFS文件系...     

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法.该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高.