数据迁移与清洗的策略研究及其在政务基础数据的应用

为了实现数据的共享及数据价值发现,需要对数据进行迁移和清洗.数据迁移的效率和数据质量的好坏,直接影响到数据挖掘的效果和价值.本文对数据迁移与清洗的策略进行了研究,设计了数据迁移与数据清洗的流程和策略,通过寻求最优线程数,并行处理数据迁移与清洗,并将其应用到政务服务基础数据的处理上.在处理速度和数据质量上都有明显提升,同时自动生成清洗报告.本文构造的数据迁移与数据清洗的策略可应用于数据量大、数据类型复杂的数据上,能提高数据质量,满足数据共享和数据分析的要求.     

数据分离与属性状态特征

给出数据分离与它的属性状态特征生成的基本理论。利用逆P-集合的结构与动态特征,给出数据外分离,数据内分离与数据外-内分离概念,给出数据分离特征,给出数据分离生成的属性状态特征。给出数据补充定理,数据删除定理与数据补充-删除定理。给出数据外分离的属性基数定理,数据内分离的属性基数定理与数据外-内分离的属性基数定理。论文给出的理论结果是数据分离生成的特征。     

基于元数据属性的数据价值分级及加密机制

针对云存储中对所有数据采用统一的加密算法造成数据加密高复杂度的问题,提出了一种基于元数据属性的数据价值分级及加密机制。首先,利用数据对象元数据的属性评定数据对象的数据价值,并对数据进行分级,而后,根据数据的价值级别选择相应的加密算法,给出数据加密的解决方案。通过对实验数据的分析与比较,验证了该机制能够获得更好的加密效果,大大减少了数据加密的时间复杂度。     

互联网数据在高校大数据平台中的应用研究

互联网数据是高校大数据平台应用的重要数据来源,该文主要阐述了高校大数据平台的技术架构,并在此基础上提出了互联网数据的重要价值,分析了高校大数据应用中专业数据、资讯数据和网络舆情数据三大主要互联网数据构成,并对应用模式和应用场景进行了研究。提出并阐述了学科大数据分析、网络舆情监测、情报大数据分析、校友大数据分析等高校互联网数据大数据应用场景。     

浅论GIS数据质量控制

在分析GIS数据质量特点的基础上,提出了按照数据的生产过程划分的原始数据、一次性数据、二次性数据、三次性数据。并基此以矢量化数据为例说明了数据质量控制流程。详细分析了数据的检验方法,并以测量数据为例详细说明了数据质量控制过程。     

一种基于语义的轨迹流数据清洗方法研究

数据清洗的主要任务是将数据中的脏数据检测出来并进行修正,提高数据质量,减小数据质量问题给数据应用带来的影响.由于流数据的特点是数据量大且增长快速,所以针对流数据的清洗研究除了要考虑到数据质量的提高,还需要考虑到数据体积的压缩以缩减成本.现有的方法不能很好的兼顾数据质量的提高和成本的缩减问题,因此在已有的研究基础上提出一种基于语义的轨迹流数据清洗方法——将裸数据转化为语义轨迹,同时将语义作为动态指标去除重复采样和修复异常数据.实验证明,该方法能有效地缩减数据体积以降低保存成本,同时数据的质量密度得到了明显的提高.     

面向大规模数据的模糊支持向量数据描述

针对支持向量数据描述面临的噪声数据敏感问题和大规模数据分类问题,提出面向大规模数据的模糊支持向量数据描述.该方法引入模糊理论和核心向量机,不仅在构造最小超球体时忽略对分类结果影响较小的数据,而且将支持向量数据描述的适用范围从中小规模数据扩展到大规模数据.人工数据集和标准数据集上的实验表明新算法的有效性.     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。     

多传感器数据的处理及融合

针对多传感器数据的多样性, 提出一种改进的数据融合算法. 首先, 利用小波技术消除已收集数据的高斯白噪声并对数据进行压缩; 其次, 对处理后的数据进行分层, 并对系数进行Kalman滤波, 同时利用Mallat快速重建算法重构数据; 最后, 利用最大、 最小贴近度计算传感器数据的信噪比, 并通过信噪比进行数据融合. 基于实际采集的多传感器数据对比实验结果表明, 该数据融合算法在稳定性上优于简单加权数据融合、 小波数据融合和Kalman滤波融合等算法.     

基于关系理念的大数据在高校图书馆中的应用研究

随着大数据时代的到来,大数据在各行业的应用成了时下的热点。大数据存在于我们社会生活的方方面面,新时代的图书馆在大数据的冲击下,也面临着新的改变。本文着眼于大数据的关系理念,对大数据的关键要素进行了分析,包括数据的全体性、数据的混杂性、数据的相关性、数据的创造性和数据的预测性,通过对这几个关键要素的分析和研究,结合图书馆的自身基本情况,提出了大数据在图书馆中的创新应用。     

云计算联盟式安全模型

云计算是把数据存放或运行在互联网的设备上,必然存在隐私和安全性问题,尤其是政府或企业重要或敏感数据。文章提出一种联盟式的安全模型来减小或消除云计算的安全隐患,并试着用联盟式安全模型解决云计算出现的安全问题,证实安全模型的可行性和提出实现建议。     

基于物联网农田环境数据的安全访问控制

随着当前物联网边缘计算技术的发展,使得物联网数据安全访问的问题日益严峻,传统的基于用户权限的数据访问控制策略不能很好解决相关数据安全访问控制问题。为此,从用户身份认证和数据访问控制等方面研究物联网数据安全共享问题的解决方案。以物联网农田环境数据安全共享系统为应用背景,提出了一种基于用户属性和用户行为的数据安全访问控制模型,该模型以用户行为构建信任机制,并结合用户属性的设置与判定共同实现系统的数据安全访问控制。本文给出了模型的规则定义与构建、具体结构设计、数据处理控制流程以及用户信任度评价体系设计的详细过程及实例分析。通过分析结果表明,该模型设计具有较好的动态性和扩展性,能够实现物联网中用户对农田环境数据的安全访问,从而解决物联网数据安全共享问题。     

基于分布式的远程网络信息管理系统的一种内网数据安全保护方法

网络信息系统的一大特点是数据共享,但数据共享必然带来系统中数据安全问题.对数据安全的威胁不仅来自于网络外部,同样也来自于网络内部.本文就一个实际系统讨论了基于分布式的远程网络信息管理系统的一种内网数据安全保护方法,建立了一个安全模型,并对安全模型的各个部分进行了描述.使用这种方法可以较好地从网络内部保护网络数据.     

关联数据在公安情报研判系统的应用

为消除公安系统中的信息孤岛,维护各部门之间数据的一致性与完整性,促进数据的共享,提公安信息的共享和深度挖掘、综合利用水平,让信息化更好地服务于实战需求,本文使用语义万维网关键技术--关联数据技术实现数据的整合和共享.遵循W3C关联数据的四项原则,为公安系统的多个业务系统建立统一数据模型,通过调查研究建立公安情报研判系统...     

网络安全管理平台的设计与实现

为了管理不同地点部署的异种安全设备，设计和实现了一个网络安全管理平台。管理平台与安全设备之间采用通用的数据交换格式，通过多协议安全通信机制进行数据交换和命令控制，并对收集的各安全设备产生的安全事件进行关联分析，实现了对异种安全设备的集中监控、统一配置和管理。该平台已经在实际网络环境中试用，证明了系统的有效性和可行性。     

云计算安全体系设计与实现综述

云计算的安全性既要面对传统信息技术带来的安全威胁,又要面对云计算核心技术,如虚拟化带来的新风险。根据经典的以安全策略(policy)、保护(protection)、检测(detection)和响应(response)为核心的安全模型—PPDR模型,结合笔者在云服务商工作积累的多年安全实践,论述了云计算安全体系设计与实现的关键技术,包括网络、主机、应用、数据和运维运营5个层面的安全设计与实现,并对云计算安全相关的技术趋势进行了展望。提出一种经实战检验的云计算安全体系的设计与实现,特别是数据安全体系的设计与实现。该体系上线3年来,已消减针对云平台99.99%以上的安全攻击,经受住了现网大规模安全实战的考验。     

公共云安全体系结构设计

针对云计算环境下新型服务模式的引入以及虚拟化技术的使用为信息安全带来一系列新的安全隐患问题, 对公共云的安全性进行研究。从用户安全目标数据安全性和云服务可用性及性能两方面入手, 全面分析公共云面临的安全威胁。设计了公共云安全参考框架, 提出从用户管理、 数据安全、 数据中心软硬件安全和控制权转移引发的安全问题加强公共云安全性。最后对云安全评估进行了讨论。实验结果表明, 该结构能整体提高公共安全性, 抵御各类安全威胁。     

基于主动防御策略的安全传输模型

提出了一种基于主动防御策略的安全传输模型．在该模型中,以动态覆盖路由器所支撑的安全域为基本单元,定义了智能代理／管理网元及其具有自相似性的多级、分布式管理的体系结构;引入了诱骗报文,使攻击者无法跟踪到发送的真实加密数据报文;根据检测报文的摘要信息,及时地发现攻击并对其进行有效的跟踪定位,并对支撑安全域的覆盖路由器进行动态管理．该模型不仅提高了网络数据传输的安全性,而且增加了网络管理的有效性,分级、分布式的管理模式使得各层管理可根据实际中不同的需求选择适合本层的路由管理策略,增加了管理的灵活性,提高了路由器的转发效率．     

基于目录服务的企业网SNMP管理数据安全模型

当Manager跨越Internet对Agent实施SNMP管理时,企业网中的SNMP管理数据就面临着来自外部网络的安全性威胁。虽然IETF在SNMPv3规范中提出了某些安全性解决方案,但这些方案并不适用于现有的、异构版本SNMP设备共存的网络环境。本文基于目录服务和LDAP技术设计并实现了一个SNMP管理数据安全模型。该模型能够为跨Internet的企业网中各种版本的SNMP设备提供身份验证及访问控制等安全功能。     

模糊物元模型在区域水安全评价中的应用

结合熵值理论与模糊物元理论,建立了基于熵权的水安全模糊物元模型.根据水安全评价的特点和评价区域的实际情况,构建了区域水安全的评价指标体系,并利用水安全模糊物元模型对水安全体系中生命安全、经济安全、生态环境安全、社会安全和管理安全的23个指标进行了评价.引用信息熵所反映的数据本身的效用值来计算指标的权重系数,有效地避免了指标权重分配困难的问题.对山东省2005年的水安全状况进行了评价,并与基于AHP的模糊综合评价结果进行了比较分析.结果表明:模糊物元模型能计算各评价样本与评价标准之间的远近程度关系,并且可以同时评价多个样本;引进熵权后减少了评价的主观性,评价结果客观合理,具有较好的实用性.