基于大数据技术的机器学习算法研究探讨

该文探讨了基于大数据技术的机器学习算法,基于大数据进行机器学习的模型提高了算法的准确性,机器学习实现分析更高级别的数据,基于Spark+Hadoop处理技术的机器学习适应迭代式机器学习模型的特定需求,机器学习分析数据中的关系获得规律预测新样本。对数据进行收集、统计和分析的大数据系统引入机器学习进行大数据计算,机器学习的深度和广度也提升了大数据分析效率。     

基于对话的中文正面情感风格迁移

文本风格迁移旨在保留文本内容的前提下,通过编辑或生成的方法使得目标文本带有某些特殊属性,如礼貌、情感、性别等。现有的情感风格迁移研究主要集中在英文数据集上,在中文数据集上的研究相对较少。该文构建了一个基于对话的中文情感文本数据集,该数据集的部分原始数据源自电视连续剧《家有儿女》中的对白,并对其进行人工标注和循环模型标注。目前该数据集的负面情感文本和正面情感文本句子共30 836个。根据该数据集中大多数情感词是显性的特点,在编辑类的模型上开展了基于对话的中文正面情感风格迁移的研究。实验结果表明：在该数据集上,编辑类的模型可以较好地识别文本的情感属性,并实现文本正面情感风格迁移。     

基于大数据的资产评估平台的研究与设计

针对资产评估的公正性、科学性问题,以及评估方、利益方、监管方三者的博弈关系,运用AHP分析资产评估体系建立基于大数据的资产评估模型,该模型采用决策树算法分析,改进了传统资产评估,并提供了资产评估收益预期回报。在评估模型基础上,引入数据挖掘和云计算技术,设计基于大数据的资产评估平台,从平台的数据采集、数据挖掘到机器学习,详细分析了资产评估平台功能,并对平台的接口和核心算法进行设计,最终通过基于大数据的房地产估价案例分析进行论证。     

机器学习全球专利计量分析

机器学习技术是当前人工智能领域受关注度最高的技术之一。该文面向揭示机器学习技术布局现状和竞争格局的目标,基于全球范围内2000年以来布局的机器学习专利数据,从整体技术和典型分支技术两个层面,从专利申请趋势、有效专利持有、近3年专利布局以及四方专利布局等角度,对机器学习技术的专利布局进行分析。研究发现:全球机器学习技术专利申请整体呈现增长态势。我国的机器学习专利申请已经建立一定优势,但是专利布局主要围绕本国保护,在海外专利布局方面距离美国、日本、韩国等国家还有一定差距。     

机器学习和人工智能辅助钢铁材料设计的研究进展

随着人工智能技术的快速发展和材料数据的显著增加,机器学习和人工智能辅助设计高性能钢材正成为材料科学的主流范式。机器学习方法是一种基于计算机科学、统计学及材料科学之间的跨学科科学,聚焦于发现众多数据之间的相关性。与材料科学中传统的物理建模方法相比,机器学习方法的主要优势在于克服了材料本身复杂的物理机制,为新型高性能材料的研发提供了新的思路。本文从数据预处理和机器学习模型的介绍开始,包括算法选择和模型评估。然后,以优化成分、结构、工艺和性能为主题,回顾了机器学习方法在钢铁研究领域应用的一些典型案例。此外,还介绍了机器学习方法在以性能为导向的材料成分逆向设计工程以及在钢材缺陷检测领域中的应用。最后,探讨了机器学习在材料领域的适用性和局限性,并对未来的发展方向和前景进行了展望。     

大数据生物特征识别技术研究进展

随着机器学习领域研究的持续发展,特别是深度学习方面的进步及图像处理器(GPU)等算力的持续提高,利用生物特征大数据的识别技术获得广泛关注,并在人证比对、智能监控以及疫情防控等多个领域取得了很好的应用.分析了大数据生物特征识别技术的发展态势,总结了生物特征类型以及大数据驱动的生物特征识别技术发展与应用,探讨了大数据生物特征识别技术的未来发展趋势.     

大数据与大数据机器学习

大数据时代已经到来,大数据是指具有海量(Volume)、多样(Variety)、时效(Velocity)、不精确(Veracity)和价值(Value)这5种特征的数据,大数据研究是近几年信息处理领域最热门的研究方向,已经引起了工业界、学术界乃至政府部门的高度关注.大数据之所以备受关注,是因为大数据里面蕴藏着巨大的价值.如何把蕴藏在大数据中的价值挖掘出来,为企业或政府部门提供决策支持具有重要的意义.大数据给传统的机器学习带来了许多挑战,这些挑战可以从大数据的5个特征或从5个不同的角度进行分析.本文首先介绍大数据的概念,并详细剖析大数据5种特征的内涵;然后在此基础上,重点分析大数据给机器学习带来的挑战及可能的解决方法.本文对从事大数据研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.     

大数据生物特征识别技术研究进展

随着机器学习领域研究的持续发展,特别是深度学习方面的进步及图像处理器(GPU)等算力的持续提高,利用生物特征大数据的识别技术获得广泛关注,并在人证比对、智能监控以及疫情防控等多个领域取得了很好的应用.分析了大数据生物特征识别技术的发展态势,总结了生物特征类型以及大数据驱动的生物特征识别技术发展与应用,探讨了大数据生物特征识别技术的未来发展趋势.     

线上教学智能学业预警和精准干预研究

智能学业预警是教育大数据、云计算等智能技术应用的热点,许多研究采用数据挖掘、机器学习、深度学习等技术来预测成绩.在线上教学常态化的背景下,智能学业预警和精准干预为下一步混合教学和职业教育的"三教"改革决策提供实证,也是教育大数据的重要研究内容.本研究设计了基于随机森林的预测模型分析教师和学生行为,并评估教师和学生行为中...     

基于Logistic回归分析的直推式迁移学习

传统的机器学习方法基于一个基本的假设:训练数据和测试数据遵循相同的分布。然而,在许多现实的应用中,这种假设并不能够被保证。在这种情况下,传统的机器学习方法因没有意识到分布的改变而可能失败。近年来,迁移学习技术被专门用来解决这一缺陷。文章提出了一种叫做TTLR的方法,将原始领域中的训练数据有效地迁移到目标领域中,该方法首先对Logistic回归分析模型进行扩展,然后利用不同领域概率分布之间的差异性,调节训练数据中每个实例的权重,从而使得训练得到的分类器更加适应于目标领域;在所选取的数据集上得到的实验结果表明,与传统的监督式学习方法相比,所提出的方法有很大的优势。     

基于Foxpro与SQL Server数据继承问题的设计与实现

论述了不同数据平台间进行数据迁移的设计和实现技术.对于如何把原有数据库的数据迁移到不同数据引擎上进行了探讨,并对基于SQLServer与Foxpro数据库的数据迁移进行了设计和实现.为简单数据库的升级和数据转换提供了一种切实可行的实现方法.     

智能油田开发中的大数据及智能优化理论和方法研究现状及展望

简要概述智能油田开发中大数据及智能优化理论发展现状,基于智能油田的基本理念、基本特点以及当前国内外研究现状,系统论述智能油田开发中面临的生产问题、大数据分析与机器学习方法以及智能优化理论和方法,归纳凝练出两大研究领域:构建数据与油藏工程方法相融合形成油田大数据分析理论体系;数据、模型与智能算法相融合形成数据与模型双驱动的智能优化理论体系。针对两研究领域中的前沿科学问题,综述其研究进展和发展趋势,总结出基于数据与物理规律融合形成复杂油藏系统模型精准构建和快速优化是油田生产开发智能化的核心,以促进石油工业智能化转型升级。     

基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

机器学习技术在软件测试领域的应用

系统介绍了近年来机器学习技术在软件测试领域的应用和发展概况。首先通过筛选对多篇文献的研究主题进行了分类,讨论了每个分类的研究重点,然后从实验数据集选择、特征提取和选择方法、处理类别不平衡方法、机器学习算法、评估准则等方面对研究文献进行了分析和讨论,最后总结了利用机器学习技术在软件测试领域的研究热点和对未来研究的展望。     

机器学习在油气行业中的应用进展综述

近年来,随着深度学习的兴起,机器学习在油气领域得到了进一步深入发展。但是,由于油气行业的特殊性和复杂性,目前还没有建成适用于深度学习的训练样本库,也没有针对性的模型建立和选择方法体系。此外,深度学习方法的不可解释性,导致了学习的模型对环境的高度依赖,制约了机器学习在油气行业中的推广应用。从机器学习的发展阶段出发,介绍机器学习在油气行业各领域的应用中所涉及的重大突破及仍然存在的问题。针对油气行业中不同类型数据的处理方法、样本建立以及如何进行模型适应性分析等方面给出了建议,提出可解释机器学习在油气人工智能上的发展潜力以及研究方向。     

基于自适应神经网络的电网稳定性预测

电网安全稳定是电力企业乃至整个社会改革、发展、稳定的基础.随着电网结构复杂度的增加,更需要电网安全和稳定地运行,这是保证国民经济快速良好发展的重要要求.基于机器学习方法,提出了一种优化神经网络的电网稳定性预测模型,并和经典机器学习方法进行了横向对比.通过UCI 2018年电网稳定性仿真数据集的实验分析,结果表明,所提出的方法可以达到更高的预测准确率,同时也为电力大数据的研究提供了新思路.     

基于机器学习的页岩油藏合理焖井时间预测

针对页岩油藏焖井开发过程中,合理焖井时间难以确定、影响因素多、计算难度大等问题,开展了基于机器学习的页岩油藏合理焖井时间优化研究.基于Y区块268口压裂水平井物性与施工参数,进行了数值模拟合理焖井时间的循环优选计算,并生成机器学习数据集.利用支持向量回归、多变量线性回归以及多层神经网络方法,分别建立了合理焖井时间预测模...     

生物信息学中的机器学习

机器学习技术例如Markov模型、支持向量机、神经网络、图形模型等，已经在生命科学数据的分析研究中广泛应用。本书收录了一些近期的机器学习方法，涵盖了生物信息学研究中的大部分问题。     

基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

基于回译和分层对齐的医疗专家-外行风格迁移的并行句子增强方法

医疗专家-外行风格迁移任务旨在将医疗专家的知识和语言转化为外行易于理解的语言风格,解决医疗专业知识传播中的语言障碍,使医疗知识能够更加广泛地被外行所理解和应用,帮助医疗工作者更好地与患者和家属进行沟通,提高医疗工作的效率和质量。目前医疗专家-外行风格迁移任务可用的数据集匮乏,并且没有可用的并行数据集。基于回译和文本分层对齐方法,提出一种简单的无监督方法,这种方法可以从两种不同文本风格(专家风格和外行风格)的可比语料中提取伪并行句子对。将使用此方法获得的并行句子对与MSD数据集、SimpWiki数据集进行对比,验证了方法的有效性。结果表明,本文方法提取的并行句子对的效果优于SimpWiki数据集,可以对目前匮乏的并行数据集进行有效补充。