云环境下MongoDB海量数据存储模型的研究

针对在大数据时代传输存储架构面临扩展性差、性能瓶颈等问题,提出云环境下基于Mon-goDB的海量数据存储模型。通过介绍MongoDB的文档模型、分片机制,并根据该特点设计基于副本集的集群模型,阐述了该模型的实现过程。通过测试证明性能良好,为大数据的存储提供借鉴经验。     

大数据时代的数学建模

随着大数据和深度学习的兴起,数据建模备受关注。充分发挥数据和信息的战略资源作用,对其进行分析和提炼,从中挖掘出对企业、对社会有价值的要素,充分利用数据构建实际问题的数学模型是大数据时代数学建模的首要任务。论述了数学建模方法在科技发展和社会进步中的作用,讨论了原型与模型间的关系。重点阐述了当无法建立实际对象较精确的数学模型,而且有大量的数据可以利用时,如何利用模型求解与范例学习相结合的方法来求解实际问题。这种模型与数据相结合的新方法是基于模型的精确宏观指导性,而且充分利用了深度学习的强大建模能力,方法高效可行,可以满足大数据时代社会各领域利用数据建模的需求,具有很强的推广性。     

基于反应数据的贝叶斯概率方法在恢复力模型选择中的应用

考虑模型选择过程中的不确定性,建立基于反应数据的模型选择的贝叶斯概率方法计算框架,用于选择一系列结构模型中的最有可能模型。该方法通过基于贝叶斯理论的模型参数识别方法得到模型参数的最有可能值及Hessian矩阵,对于全局可识别情况再结合渐近估计解法得到各模型的证据,进而通过贝叶斯定理得到选择各模型的概率,可以自动对过于复杂的模型进行限制。最后,将基于贝叶斯理论的模型选择方法用于采用实测滞回曲线数据的密肋复合墙试件的恢复力模型选择中,基于反应数据对选择2种恢复力模型的概率进行计算。研究结果表明:贝叶斯理论在系统识别中的应用不仅可以识别得到模型参数的最有可能值,还可以识别得到最有可能的模型,并且考虑了模型及模型参数的不确定性。     

基于IOCP的放射源自动监控系统

针对放射源自动监控系统无线数据传输的特点,提出了基于IOCP(I/O完成端口)的数据通信模型,该模型只采用较少的线程接收客户端发来的数据,并采用异步消息处理机制,可以将数据接收和处理过程分解开来,从而快速响应其他客户端的数据请求,因此可以大幅提升数据接收服务器的工作性,有效避免了基于传统Socket设计的数据通信模型占用服务器系统资源多、并发处理能力不足等缺陷.介绍了基于IOCP的放射源自动监控系统的结构特点及工作方式.     

一种基于消费者群体画像的智能评分模型

针对传统的评分模型难以客观、及时地评估客户信用,基于中国移动福建分公司的用户消费数据,提出一种基于消费者群体画像的智能评分模型,该模型能够对客户信用进行动态评分.首先对消费数据中的多维度“弱特征”进行特征分析,构建消费者群体画像;然后建立基于LightGBM和XGboost的集成模型.实验证明该评分模型可以有效预测客户...     

定量型数据转化为定性数据关联规则挖掘方法

定量型数据转化为定性数据进行关联规则挖掘方法是将数据库中之数量型数据先基于智能模型梯形云模型进行定性数据转化为概念,然后利用得到的概念对数量型数据进行定性处理,处理后的数据就可以使用布尔型关联规则挖掘算法进行挖掘。     

一种自适应数据交易软件模型设计技术

在大数据时代,以数据为基本生产要素的数据经济成为推动社会经济发展的创新动力。数据交易是支撑数据流通和创造数据价值的关键环节。然而,如何设计可靠和可维护的数据交易系统面临许多技术挑战性问题。针对这些挑战,本文提出一种自适应数据交易软件模型设计和验证方法。在分析数据交易业务需求的基础上,提出了一种基于Petri网的形式化数据交易自适应软件建模方法,基于Petri网和模型库方法建立数据交易业务流程的形式化模型和控制策略实施技术,Petri网的形式化语义能够有效支持数据交易系统的性质分析。最后,通过仿真实验说明所提方法的有效性和可行性。     

损失数据自回归模型的随机梯度辨识算法

运用多项武变换技术将损失观测数据自回归模型转化为一种特殊形式的模型,该模型可以利用稀少观测数据来辨识模型参数,再利用模型等价原理来估计损失观测数据,提出了基于残差的随机梯度辨识算法,仿真结果验证了提出算法的有效性.     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

基于类别关键词权重的煤矿安全隐患分类方法

大数据时代,各行各业均产生海量信息,面临大量的信息,如何准确而高效地获取数据中的潜在规律和蕴含价值成为企业信息化的重点。为提升煤矿企业对安全监测数据的理解和监控能力,改善隐患排查治理工作水平,本文提出基于类别关键词权重的短文本分类模型,有效缓解了文本分类中特征稀疏的问题。该方法首先基于朴素贝叶斯算法,对不符合规范的非法数据进行筛选,然后构建基于关键词权重的短文本分类模型,利用中文分词技术、卡方检验方法构建关键词库,最后建立得分模型实现对隐患数据的分类。结果表明,该模型能较为准确地对矿业安全隐患数据进行有效的评级分类,进一步地改善隐患排查和治理的针对性和有效性。     

一种面向高维数据的密度峰值聚类模型

聚类是大数据时代对海量数据进行数据挖掘与分析的重要工具.本文基于密度峰值聚类算法提出了针对高维数据的聚类模型,以直接简单的形式实现六维度以上数据的任意形状聚类.该模型实现了自动预处理过程,以局部密度较大且距离其他局部密度较大点较远的点作为聚类中心,最后引入参数调整.实验结果表明,该模型不仅对低维数据聚类实用,在高维数据的聚类效果也非常显著.     

基于ARMA模型的粗糠醇精馏过程软测量建模方法

针对粗糠醇精馏过程存在的非线性时变及建模数据的影响持续性不易确定,导致软测量模型预测准确性低的问题,提出一种基于ARMA模型的粗糠醇精馏过程软测量建模方法。构建了粗糠醇精馏过程的自回归滑动平均(Autoregressive Moving Average, ARMA)模型,将建立好的ARMA模型与软测量建模方法相结合,提出基于ARMA-LSSVM的软测量建模方法。基于粗糠醇精馏过程实际数据分别建立了ARMA-LSSVM与LSSVM的软测量模型并进行了对比分析,分析结果表明:本文提出的基于ARMA模型的粗糠醇精馏过程软测量建模方法,可以有效提高粗糠醇精馏过程软测量模型的数据预测精度。     

大数据时代人工智能的创新与发展研究

新时代下随着互联网技术的不断发展,网络信息分享的大数据时代,人工智能成为社会发展中不可缺少的一部分。人工智能是现阶段大数据时代下的产物,在网络时代给人们带来了更多的便利的同时,又通过人工智能人们可以不断地去探索了解更多网络产品。人工智能的发展也促使当前社会向着创新形势的方向不断发展。该文基于大数据概念下的人工智能发展历程进行浅显探究,从当前人工智能发展的现状进行分析,探究当前时代下大数据和人工智能发展的创新策略。     

不同外推方法求解近海风机的极限载荷

利用时域仿真得到短期载荷,对比了广义极值(GEV)分布方法与基于广义Pareto分布(GPD)的阈值模型求解面外叶根部弯矩极值的差异.结果表明:GEV分布方法忽略了其他分组中较大的样本,造成了数据的较大浪费;而基于GPD的阈值模型可以充分利用数据中的极值信息,考虑了超过某一值的所有数据,可以预测近海风机的面外叶根部弯矩.     

基于遗传算法的分布式入侵检测模型研究

基于主机的入侵检测系统和基于网络的入侵检测系统各有优缺点，所以人们提出基于网络且同时基于主机的入侵检测系统，即分布式入侵检测系统。文章提出一个新型的基于遗传算法的分布式入侵检测模型。由于Agent收集的数据既可以是主机上，也可以是网络上的，所以本模型是属于分布式入侵检测模型。后面进行了遗传算法检测的试验，并且给出了实验结果，实验结果证明使用遗传算法可以有效的进行检测，并且可以提高检测的正确率。     

可加危险生存治愈模型的估计

最近以来,可加危险(AH)模型被广泛地应用于生存分析数据,模型的协变量可以假设为时间独立或时间相关.基于混合、非混合治愈模型和“不正确”的比例危险模型,本文将上述的可乘危险模型延伸到可加的危险模型,这里的模型可以允许含治愈部分的生存数据的存在.“不正确”的AH模型的模型识别和参数估计也在文中进行了讨论.     

基于距离置信度分数的多模态融合分类网络

使用多模态数据建模可以有效地克服单一模态信息量不足的问题,大大提高模型的性能.但在量化神经网络模型置信度,尤其是对于多模态融合模型方面并没有很多进展.基于此,提出一种基于嵌入的方法,在嵌入空间中通过计算样本间的距离进行局部密度估计,进而计算模型的置信度分数.该方法具备可扩展性,不仅可以用于单一模态模型,还可以用于多模态...     

基于重路由匿名通信系统中侧面攻击模型的研究

提出了一种基于重路由技术的匿名通信系统模型,基于该模型提出一种攻击算法,通过分析和计算数据表明,在一定条件下,攻击方法可以有效破坏匿名通信系统中发送者的匿名度。     

基于Hadoop分布式支持向量机球磨机大数据建模

大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行数据,在Hadoop平台下利用K-Means聚类算法删除离群点,利用主成分分析法(PCA)降维完成属性约简,然后在MapReduce架构上采用分布式支持向量机(D_SVM)建立模型,实现计算并行化.结果表明,采取该方法提高了建模效率,所建立的模型具有很高的精确度,且具有很好的泛化能力,该模型可以用于表征实际料位的特性.     

基于事例的自适应关联规则挖掘模型的研究

认为传统的关联规则挖掘模型主要是针对结构化数据，其可信度和支持度不能随环境的变化自适应调节，即缺乏自适应性，而现实中还存在大量非结构化的数据。针对传统发现模型的不足提出了一个基于事例的自适应关联规则发现模型，它不仅可以处理对非结构化数据的数据挖掘，而且还可以随着环境的变化自适应调节支持度和可信度。