基于大数据技术的机器学习算法研究探讨

该文探讨了基于大数据技术的机器学习算法,基于大数据进行机器学习的模型提高了算法的准确性,机器学习实现分析更高级别的数据,基于Spark+Hadoop处理技术的机器学习适应迭代式机器学习模型的特定需求,机器学习分析数据中的关系获得规律预测新样本。对数据进行收集、统计和分析的大数据系统引入机器学习进行大数据计算,机器学习的深度和广度也提升了大数据分析效率。     

大数据与大数据机器学习

大数据时代已经到来,大数据是指具有海量(Volume)、多样(Variety)、时效(Velocity)、不精确(Veracity)和价值(Value)这5种特征的数据,大数据研究是近几年信息处理领域最热门的研究方向,已经引起了工业界、学术界乃至政府部门的高度关注.大数据之所以备受关注,是因为大数据里面蕴藏着巨大的价值.如何把蕴藏在大数据中的价值挖掘出来,为企业或政府部门提供决策支持具有重要的意义.大数据给传统的机器学习带来了许多挑战,这些挑战可以从大数据的5个特征或从5个不同的角度进行分析.本文首先介绍大数据的概念,并详细剖析大数据5种特征的内涵;然后在此基础上,重点分析大数据给机器学习带来的挑战及可能的解决方法.本文对从事大数据研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.     

机器学习在高熵电催化材料中的研究进展

高熵材料(high-entropy material, HEM)是一类具有良好性能的新型材料,以其较好的催化潜力、耐腐蚀性能等特点受到广泛关注.传统的高熵催化剂研究大多局限于各自的知识体系,难以兼容合并,不利于更优异的催化剂的后续研发.机器学习(machine learning,ML)作为一种基于大数据集来建立数理模型、进行研究推理的新兴学科,正逐步成为人们重点关注的人工智能科学分支.通过机器学习建立大数据库可以有效改善传统的研究状况,使研究效率大为提高.机器学习能用于识别定量的组分-结构-性能关系,通过从历史数据中学习而无需通过显式编程来加速电催化剂的设计.对机器学习算法、高熵材料进行了介绍,并阐述了机器学习在设计高熵电催化剂中的应用,讨论了机器学习在高熵电催化剂筛选和预测方面的发展前景.     

基于KLDA的图核降维方法

图结构具有较强的表达能力和较高的灵活性,对图结构数据的识别及分类属于结构模式识别的范畴.对图结构数据的研究思路是将图结构数据通过图核转化为向量空间中的向量,然后采用传统的机器学习算法对其进行分析.基于图结构的数据表示与分析已经成为机器学习领域的研究热点.于是提出对经典的图结构分析方法进行扩充,利用核线性判别分析方法(KLDA)对图核诱导的高维特征空间进行降维,得到与原始图结构特征空间对应的低维度的特征空间,然后采用传统的机器学习算法对这些新的数据进行分析.在标准数据集上的实验效果验证了该方法的有效性.     

基于全球专利的机器学习技术竞争态势分析

随着人工智能的蓬勃发展,机器学习作为其关键核心技术,也得到了前所未有的发展机遇.为了揭示机器学习技术发展趋势、发掘核心技术热点、识别重要申请人,基于IncoPat数据库对全球机器学习技术专利进行计量分析.从专利的申请/公开趋势、全球竞争情况分布、中国竞争情况分布、中美专利对比分析等维度进行剖析,分析得出机器学习专利处于快速增长期,全球机器学习领域的研究热点主要集中于计算机系统、电数字处理、数据识别等方向.美国在机器学习领域具有较强的研发实力,竞争优势明显.在中国大陆地区,地区经济状况对机器学习产业的发展具有明显影响,腾讯公司是机器学习领域较为优质的中国企业.     

一种基于级联模型的类别不平衡数据分类方法

真实世界问题中,不同类别的样本在数目上往往差别很大,而传统机器学习方法难以对小类样本进行正确分类,若小类的样本是足够重要的,就会带来较大的损失.因此,对类别分布不平衡数据的学习已成为机器学习目前面临的一个挑战.受计算机视觉中级联模型的启发,提出一种针对不平衡数据的分类方法BalanceCascade.该方法逐步缩小大类别使数据集趋于平衡,在此过程中训练得到的一系列分类器通过集成方式对预测样本进行分类.实验结果表明,该方法可以有效地提高在不平衡数据上的分类性能,尤其是在分类性能受数据的不平衡性严重影响的情况下.     

基于全球专利的机器学习技术竞争态势分析

随着人工智能的蓬勃发展,机器学习作为其关键核心技术,也得到了前所未有的发展机遇.为了揭示机器学习技术发展趋势、发掘核心技术热点、识别重要申请人,基于IncoPat数据库对全球机器学习技术专利进行计量分析.从专利的申请/公开趋势、全球竞争情况分布、中国竞争情况分布、中美专利对比分析等维度进行剖析,分析得出机器学习专利处于快速增长期,全球机器学习领域的研究热点主要集中于计算机系统、电数字处理、数据识别等方向.美国在机器学习领域具有较强的研发实力,竞争优势明显.在中国大陆地区,地区经济状况对机器学习产业的发展具有明显影响,腾讯公司是机器学习领域较为优质的中国企业.     

基于自适应神经网络的电网稳定性预测

电网安全稳定是电力企业乃至整个社会改革、发展、稳定的基础.随着电网结构复杂度的增加,更需要电网安全和稳定地运行,这是保证国民经济快速良好发展的重要要求.基于机器学习方法,提出了一种优化神经网络的电网稳定性预测模型,并和经典机器学习方法进行了横向对比.通过UCI 2018年电网稳定性仿真数据集的实验分析,结果表明,所提出的方法可以达到更高的预测准确率,同时也为电力大数据的研究提供了新思路.     

机器学习在太阳物理中的应用

太阳物理研究已经进入大数据时代,而机器学习作为大数据研究的一种良好工具已经获得越来越多的认可.本文评述了自2007年以来机器学习在太阳物理中的应用.从结果上看,最近4年这一领域的研究明显增加.所利用的数据包括地面和空间的各种仪器、各种类型和波段的太阳观测资料.研究领域涵盖太阳耀斑、日冕物质抛射、太阳黑子等太阳物理研究的主要方面.目前虽然获得一些很好的结果,但尚未有突破性的进展.使用的机器学习方法涉及分类、回归、聚类、降维以及深度学习等手段,但经典的算法,尤其是分类方法依然占据主导地位.这意味着机器学习在太阳物理的应用还处于起步阶段,但同样也意味着在这一领域还有很多工作可以深入开展.     

基于机器学习的恶意软件分类识别研究

恶意软件的日益增长是对网络世界最大的威胁,基于签名的检测对于恶意软件检测率较低,局限性大,因此提出基于机器学习的恶意软件检测技术来代替传统的签名检测。根据沙箱中提取软件的特征类型包括注册表和API函数调用,并量化数据,使用机器学习的模型对此数据进行分类识别,并取得了较好的分类效果。     

机器学习在遥感影像分类中的应用

 概述了机器学习的主要方法及其在遥感影像的主要应用方向,涵盖环境生态遥感中机器学习技术的研究、应用情况及近年来的新进展。通过使用深度学习对FY-3C气象卫星资料进行积雪检测的应用实例,说明深度学习模型可以利用大数据的优势不断提高检测精度,在某些指标中取得了更优于传统机器学习的精度,可解决传统机器学习难以解决的一些问题,从而带动遥感应用模式的创新。     

基于机器学习和遗传算法的高炉参数预测与优化

针对目前高炉炼铁模型精度不高问题,提出建立高炉生产过程中精确的多目标优化模型.首先对高炉的海量数据进行了数据预处理,其次采用支持向量机、随机森林、梯度提升树、XGBoost、LightGBM、人工神经网络6种机器学习算法对高炉焦比、K值进行了预测,并采用特征工程和超参调优对机器学习预测进行了优化,最后采用新的集成学习方法进行预测.预测结果不仅精准度高而且具有很好的鲁棒性.在机器学习的基础之上,采用NSGA-Ⅱ遗传算法对高炉参数进行了多目标优化分析,得到了Pareto最优解,高炉操作者可以根据该多目标优化结果针对不同的需求选择相应的控制参数.     

人工智能可实现传染病早期预警

“机器学习”是人工智能的一种形式.美国卡里生态系统研究所和佐治亚大学科学家将机器学习和大数据相结合,用于确定携带疾病的啮齿类动物的种类分布,以及容易被新生寄生虫和病原体传染的热点地区.相关论文发表在近期美国《国家科学院学报》上.     

大数据与量子计算

大数据技术的迅猛发展对计算效率提出了更高的要求.由于量子系统的独特性质,量子计算具有经典计算不具有的量子超并行计算能力,能够对某些重要的经典算法进行加速.人们发现,除了大数分解算法,量子计算的更多用途是对量子体系的仿真计算和在数据分析领域的应用.近年来,大数据和量子计算开始融合.虽然实际使用的量子计算机尚未建成,量子计算在大数据的应用在理论上已经取得了一些重要的进展.实验上也有了一些发展.本文首先介绍量子计算的基本原理和Grover量子算法.随后以量子机器学习作为切入点,介绍了量子计算在数据挖掘领域的应用.     

基于深度神经网络的WiFi室内定位系统设计

针对地下停车场、地下矿井等用户场景定位服务的高精度需求,设计了一种基于WiFi信号的室内定位系统.系统的设计引入了深度神经网络算法,对WiFi指纹数据进行训练,得到一种室内定位模型.通过对UJIIndoorLoc数据进行实验仿真,结果表明,该室内定位模型的楼层定位准确率较传统机器学习模型提升约6%,位置定位精度较传统模型提升约7%.通过对实际应用场景进行测试,测试结果表明该室内定位模型的定位精度优于传统机器学习模型,提升约5%.     

基于机器学习的页岩油藏合理焖井时间预测

针对页岩油藏焖井开发过程中,合理焖井时间难以确定、影响因素多、计算难度大等问题,开展了基于机器学习的页岩油藏合理焖井时间优化研究.基于Y区块268口压裂水平井物性与施工参数,进行了数值模拟合理焖井时间的循环优选计算,并生成机器学习数据集.利用支持向量回归、多变量线性回归以及多层神经网络方法,分别建立了合理焖井时间预测模...     

大数据生物特征识别技术研究进展

随着机器学习领域研究的持续发展,特别是深度学习方面的进步及图像处理器(GPU)等算力的持续提高,利用生物特征大数据的识别技术获得广泛关注,并在人证比对、智能监控以及疫情防控等多个领域取得了很好的应用.分析了大数据生物特征识别技术的发展态势,总结了生物特征类型以及大数据驱动的生物特征识别技术发展与应用,探讨了大数据生物特征识别技术的未来发展趋势.     

基于大数据和机器学习的AI导演电影风格迁移方法

研究了基于深度神经网络的电影风格迁移方法,以及大数据和机器学习在其中的作用。首先介绍了电影风格迁移的基本概念和现有研究,然后分析了人工智能如何实现电影风格的迁移,包括使用的算法、技术和方法,以及评估的指标和标准。接着,探讨了大数据和机器学习如何提高电影风格迁移的效率和质量,拓展其范围和可能性,以及创造新的电影风格和表达方式。最后,批判性地分析了基于大数据和机器学习的AI导演电影风格迁移方法所面临的伦理、技术和评价问题,并提出了一些可能的解决方案和改进方向。     

大数据生物特征识别技术研究进展

随着机器学习领域研究的持续发展,特别是深度学习方面的进步及图像处理器(GPU)等算力的持续提高,利用生物特征大数据的识别技术获得广泛关注,并在人证比对、智能监控以及疫情防控等多个领域取得了很好的应用.分析了大数据生物特征识别技术的发展态势,总结了生物特征类型以及大数据驱动的生物特征识别技术发展与应用,探讨了大数据生物特征识别技术的未来发展趋势.     

基于机器学习的时序数据预测方法研究综述

机器学习作为大数据时代实现数据分析及挖掘的主要工具被广泛研究及使用。时序数据预测一直是数据挖掘中的重点及难点,基于机器学习的时序数据预测方法主要分为线性预测方法和非线性预测方法。线性预测方法计算简单,容易建模,适用于短期的时序数据预测;非线性预测方法涵盖广泛,能够很好地捕捉时序数据之间的非线性关系,能够更好地对时序数据进行预测。本文将以股票时序数据预测为例,对时序数据预测方法进行详细介绍,重点分析非线性预测方法,并探讨其未来的发展趋势。