警务信息平台关系数据库服务云模型探讨

分析警务信息平台的系统架构,根据警务信息平台最核心的服务是高可用性关系数据库服务和必须最大可能保护原有的软硬件投资的特点,研究如何将云计算技术在处理海量数据的存储、访问、分析和管理方面的优势结合到关系数据库上,为未来能够支持系统性能线性扩展、新业务快速部署、安全统一管理、海量数据高效并行备份和恢复的警务信息平台的模型研究提供思路．     

海量数据管理技术在桥梁结构监测中的应用

介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。     

基于边缘云计算的人体数据传感架构

为了解决基于云平台的架构方法在处理人体监测传感数据时无法很好地支持实时性和可移动性的问题,该文提出一种基于边缘云计算的人体数据传感架构,并将其运用于大数据分析.其构建了3层云计算人体数据流架构,分别由无线体域网、边缘云系统和中央云系统组成.针对人体数据流架构提出了支持实时性和可移动性的移动服务架构,该架构在中央云数据中心和用户之间使用边缘服务器,在此基础上设计了边缘云的数据传感架构,该软件架构包含3层应用程序接口,分别应用于传感器设备、边缘云和中央云.设计了能够支持多种类型应用程序的存储架构,优化传感架构并提高数据存储可靠性.实验结果表明,基于边缘云的架构降低了由虚拟机容量导致的故障率和服务器整体利用率,同时在服务时间和数据处理时间方面均优于现有的架构.     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于密钥树的云平台隐私保护与分享技术研究

云存储平台中的隐私保护问题是云安全的挑战之一,当前主流的云存储平台大多面向内容存储服务,缺少对用户隐私信息的保护。针对该问题,文章设计了一种高效、用户主动可控的隐私保护云存储架构,该架构用高效的对称密码体制加密隐私信息,以安全的公钥密码体制传递解密密钥和文件信息,设计密钥派生树生成大量密钥实现高效的密钥管理,云存储服务提供者和非法用户均无法获取隐私信息,但用户可以将隐私信息向特定对象分享。分析表明,该架构不增加当前云存储平台负担并且能有效保护用户隐私。     

分布式环境下业务模型的数据存储及访问框架

构造业务模型以支持应用系统开发是基于模型驱动架构实现云服务系统快速开发及有效运维的重要途径。然而,云平台下的海量异构模型的统一管理并不容易。该文提出一个分布式环境下的业务模型数据存储访问框架,以支持业务建模、服务转换、服务配置、服务部署、服务监控等服务生命周期。将关系数据库及NoSQL数据库结合以存储和管理结构化数据;采用基于Hadoop构建的文件库以实现非结构化的业务模型管理,从而构造一个综合的数据管理模型,实现了业务模型统一存储和管理;并根据业务模型中的资源描述,生成相应RESTful服务供应用系统调用;构建一个基于云平台的业务模型库软件平台以开展应用验证。结果表明:该框架不仅对云服务应用系统提供了高效的数据存储访问方式,也降低了应用服务的开发及维护成本,具有较高工程价值。     

智能电视“云服务”平台的设计实现

文章主要介绍＂云＂时代智能电视＂云服务＂平台的功能特点、设计原理和技术实现方案。通过对服务器端和网络架构进行改造,目标达到千万注册用户的服务和运营。系统具备海量数据的数据库架构设计、数据仓库的支持和分布式集群支持,且在软件架构不变的前提下,能动态扩展硬件和分布式布点来适应日益增长大并发访问量。     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

云计算环境下煤矿应急管理海量数据存储技术

随着物联网、无线传感器网络等技术在煤矿应急管理信息化建设中的广泛应用,煤矿大量监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集,对煤矿企业现有信息系统构架的海量数据存储及处理性能提出了更大的挑战。为了研究应对此挑战的海量数据存储技术,通过分析煤矿应急管理海量数据的来源及其特点,设计了云计算环境下基于NoSQL的煤矿应急管理海量数据存储方式,并对煤矿应急云平台进行了Hadoop基准测试,同时利用陕西黄陵矿业集团一号矿井某段周期内的瓦斯数据,对煤矿应急云平台和DBMS系统的处理性能进行对比。实验结果表明,基于Hadoop构建的煤矿应急云平台在海量数据存储与处理时均有良好的性能表现。     

基于微应用的多租户智慧云存储平台架构方法

当前云存储平台架构依据个人PC环境开发,交互性较差、使用率低、大软件系统占用内存大。为此,提出一种基于微应用的多租户智慧云存储平台架构方法。设计基于微应用的多租户智慧云存储平台架构。实现数据管理层时,按照数据冷热特性度,通过冷热数据区分方法对大规模数据进行区分,按照租户行为特征,求出单位时间数据价值,通过指数平滑法对此刻时间数据价值进行估测,提高数据访问命中率。完成冷热数据区分后,在保证服务的情况下,利用Gossip法把多租户监测数据迁移至当前平台架构。微应用在UAP平台进行开发,利用UAP微应用开发平台把微应用相关组件有效结合在一起,完成大规模微应用的自动集群规划。实验结果表明,所提方法因采用微应用,内存使用率和效率高。     

LabSQL数据库访问工具包的设计与实现

将LabSQL数据库访问工具包应用于某电力谐波监测系统的数据库管理中,采用ODBC接口方式访问Microsoft Access数据库,构建起集数据存储、分析和处理于一体的数据管理平台. 实验表明,LabSQL数据库访问工具包可满足现场电力数据存储与分析、快速分类与检索信息的需要.     

基于微应用的多租户智慧云存储平台架构方法分析

当前云存储平台架构依据个人PC环境开发,交互性较差、使用率低、大软件系统占用内存大。为此,提出一种基于微应用的多租户智慧云存储平台架构方法。设计基于微应用的多租户智慧云存储平台架构。实现数据管理层时,按照数据冷热特性度,通过冷热数据区分方法对大规模数据进行区分,按照租户行为特征,求出单位时间数据价值,通过指数平滑法对此刻时间数据价值进行估测,提高数据访问命中率。完成冷热数据区分后,在保证服务的情况下,利用Gossip法把多租户监测数据迁移至当前平台架构。微应用在UAP平台进行开发,利用UAP微应用开发平台把微应用相关组件有效结合在一起,完成大规模微应用的自动集群规划。实验结果表明,所提方法因采用微应用,内存使用率和效率高。     

基于Hadoop云平台个性化信息定制系统设计与实现

为提高信息获取的定向性和准确性, 适应大数据时代数据处理需求, 以高校信息平台为应用背景, 设计并实现了基于Hadoop 云平台的个性化信息定制系统。该系统利用Mahout 培养Bayes 分类器实现数据挖掘算法的分布式, 将分析处理结果存储于Hbase 数据库中, 并在移动终端上开发了基于Android 的客户端, 将移动终端与分布式信息处理平台互连, 完成信息推送。测试结果表明, 该系统可以为用户提供个性化定制服务, 方便用户随时查阅定制信息, 提高信息服务的针对性和互动性, 满足用户日益增长的网络访问需求。     

云存储在医疗数字化建设中的应用研究

首先介绍云存储的系统框架,分析医院数字数据的存储需求,提出云存储系统满足医院海量数据存储、异地容灾备份等需求,并且分析了云技术应用于医疗数字数据存储的优势,给出了区域医疗数字化管理的云存储平台,最后指出下一步研究方向为具体的区域医疗私有云存储系统的构建方法。     

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.     

大数据存储技术在张衡一号卫星数据服务中的应用

随着张衡一号卫星监测数据的不断增加,目前的HDF5文件存储方式不仅在性能扩展性、读写并发性等方面凸显出劣势,而且无法实现对业务数据的精准时空查询,这给用户带来很大困扰。为解决对海量卫星数据的高效存储和读取,本文分析了HBase数据库和ElasticSearch搜索引擎的优缺点,提出了一种基于二者相结合的卫星大数据存储方案,并搭建了Hadoop架构的大数据试验平台,完成了对张衡一号卫星空间电场ULF频段数据的存储试验和对比测试。结果表明,该方案大大提高了对海量卫星观测数据的读写并发性能,达到当前文件存储方式的几十倍,并实现了对卫星数据的精准定位和快速查询,很好地满足了用户要求。     

面向分散式存储的云存储安全架构

针对云存储系统和应用过程中的数据安全性问题,提出了一种面向分散式存储的云存储安全架构.该架构采用信息扩散法、分散存储管理、数据自举恢复等技术,分层实现存储数据在云存储中完成应用系统的数据安全存储管理和传输.该方法通过检查可用片重新计算数据片中所有的数据,若存在受损数据,则根据互为冗余的存储设备数据加以恢复,从而提高数据的可用性,从数据传输到存储,都建立了相应的保护措施进行云存储层与其他层间的安全防范,实现了数据的有效防护.仿真测试表明,该架构在保证数据高安全性的同时提高了系统的整体性能.     

云存储中数据安全访问的研究

随着云存储的日益发展,将数据外包存储在不可信的第三方越来越普遍。即使用户对数据进行了加密,攻击者仍然能够通过分析访问模式获得存储数据的信息。在外包存储应用中,无关RAM允许客户对不可信服务器隐藏数据的访问模式,攻击者无法获取数据的有用信息。提出一种新的无关RAM结构,对客户的每个请求仅需常量级代价和少量客户端存储空间即可实现数据的无关访问。     

基于NoSQL的电力系统大数据管理

在大数据时代,针对大数据管理的需求,根据大数据的特点和支持大数据管理系统的特定性,电力系统也要在数据存储、数据访问、数据分析等方面进行相适应地管理,针对海量数据,采用NoSQL存储系统支持海量电力信息数据的存储和柔性管理.其中,介绍相关前沿研究和研究挑战,支持电力信息数据的体系结构,基于NoSQL的大数据管理,进而为电力系统未来发展趋势提供分析与预测.     

基于云平台的软件服务流体系结构

为了对大规模的数据访问和海量海洋信息的处理提供可靠实时的云计算服务, 结合工作流与软件即服务(software-as-a-service, SaaS)的思想, 提出软件服务流的概念, 并构建基于云平台的软件服务流体系结构的系统. 服务流引擎在整个系统中处于底层, 与Hadoop平台进行交互, 运行自行设计的服务流解析与重组算法处理用户请求, 并交付下层执行, 且为上层提供资源表述性转移(representational state transfer, REST)架构风格的服务流监控和资源管理的透明接口, 降低了开发的复杂性, 提高系统的可伸缩性. 用户能够通过Web端访问, 定制个性化软件服务, 并且能实时监控云平台. 在该平台上, 大规模数据访问、高并发以及高密度的访问也是一种常态. 通过构建初步的原型系统, 证明平台体系结构的可用性和高效性.