基于划分和压缩数据库的改进Apriori算法

针对Apriori算法在面对大规模数据时效率较低的问题,提出了一种基于划分和压缩数据库的改进方法。该方法首先依据特征数据出现的频率将数据按照升序存储在临时数组中;然后将原始事务数据库分为几个互不相交的事务数据库,使得子数据库能够容纳在内存中;最后根据每个子数据库计算出的频繁项集计算整个数据库的频繁项集,从而消除了不必要的冗余数据。通过改进可以将大规模数据集进行有效的划分和压缩,对子数据库进行关联规则挖掘。实验结果表明,改进的Apriori算法在针对海量数据挖掘的执行速度和效率都有很大提高。     

基于VBA和COM组件进行数据转换在文廷式数据库信息采集中的研究与应用

关系型数据库支持从外部数据文件批量导入数据到内部数据表,但数据文件须满足关系型数据库的格式化要求,以.DOC或者.DOCX存储的数据无法直接导入到关系型数据库。本文以萍乡学院文廷式数据库信息采集为例,通过VBA和COM组件技术,实现将DOC类格式的文本数据和图像转换为纯文本形式存储表格数据的.CSV文件,使得包括MSSQL Server在内的关系型数据库能够快速准确地获取大批量外部数据,为字处理数据格式转换为格式化数据提供了一种新的解决方法。     

基于外部工程数据库的图形检索

结合AutoCAD特点及工程数据库的数据管理和存储模式,在Object ARX（Object Oriented AutoCAD Runtime Extension）环境下引入了ADO（ActiveX Data Object）数据库连接方式,建立了AutoCAD与数据库（ACCESS2000）之间的双向链接,描述了各种格式的图形文件在外部数据库中的存取方式.通过与工程数据库的链接,工程设计软件能够提供强大的图形信息资源支持及有效的数据管理,从而提升工程设计人员的信息资源平台.     

一种面向金融应用的海量分布式关系数据库

提出了一种面向金融应用的海量分布式数据库架构CBase,该架构融合了关系数据库和非关系型数据库的优点,既支持关系查询和跨行跨表的事务处理,又支持数据的分布式存储和节点的快速扩展.系统改进了现有分布式数据库单点故障的问题,具有较高的吞吐率和快速的响应时间,已经在银行业务中得到实际应用.实践证明:该数据库可满足金融业务对于大数据存储和查询的性能需求.     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

面向多租户的多层次可伸缩SaaS软件架构研究

针对SaaS模式下面向多租户的SaaS软件如何随着用户数量及请求规模的变化而进行自适应伸缩的问题,在分析SaaS软件的可伸缩需求的基础上,从一个较为宏观的角度提出了一个面向多租户的多层次可伸缩SaaS软件架构.该软件架构将SaaS软件的伸缩层次划分为业务层和数据层两个部分,从应用、流程和构件等三个粒度研究多粒度业务层的动态可伸缩实现方法;在数据层,以内存数据库子层、全局数据库子层以及数据引擎构建一个面向多租户的数据库开发框架,实现租户数据的隔离、存储以及一致性.基于该软件架构,开发了一个面向物流行业的多租户SaaS原型系统,验证了其有效性和可用性.     

XML异构数据接口在综合治超管理平台中的应用研究

治超管理是一项复杂的、需要长期进行建设运维的工作,运管系统、车载系统、无人监测站等系统数据存储在不同的服务器、不同的数据库中,数据量庞大且分散.本文以异构数据接口为切入点,设计实现了一款基于XML异构数据接口的治超管理系统平台,以XML Schema定义各平台之间传递的数据架构,使得各系统数据通过标准的、可扩展的接口进入市数据中心,该数据接口支持多种数据库之间数据交互、多种文档格式及多种协议交互,从而实现治超业务的规范化、全面化、协同化,推动治超工作的信息化进程.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

面向OceanBase的存储过程设计与实现

存储过程是数据库管理系统的一个重要特性,它是标准结构化查询语言(Structured Query Language,SQL)的一个扩展.OceanBase是一个新型的支持海量数据处理的分布式数据库系统,但现有OceanBase的开源版本不支持存储过程功能,影响了该系统在企业和机构中的推广和应用.本文在深度分析存储过程原理以及OceanBase查询处理策略的基础上,设计并实现了支持PL/SQL(Procedural Language/SQL)的存储过程机制.     

海量数据管理技术在桥梁结构监测中的应用

介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。     

基于Oracle的实时数据存储访问

面对快速发展的数据分析需求,流程工业实时数据库单纯的数据存储和回溯功能已不能满足实际的应用要求.以关系数据库为介质,研究了基于Oracle的实时数据获取、处理、存储和访问技术.重点探讨了实时数据的压缩存储,并给出采用Oracle数据库内部语言PL/SQL实现数据压缩算法,由于数据的存储和访问中引进了数据压缩技术,在低频率和点数较少时,该技术可作实时数据库的替代方案.给出的方法在Oracle10g企业版中测试通过,并成功应用在某大型石化企业的丁二烯分离装置上,取得了良好的效果.     

基于区块链的电力营销数据存储机制

随着电力的发展电力营销数据持续增长,传统的集中式数据存储模式已经不能满足电力业务数据存储的安全性和高效性需求.针对上述问题,提出了一种基于区块链的多级加密电力营销数据存储架构,该存储架构以区块链技术作为底层技术支撑,结合分布式存储提供稳定性高、安全可靠的电力数据存储方案.同时在区块链的基础上提出多级加密机制,该机制支持电力数据上链及电力数据传输等流程的逐级加密及验证,使得电力数据存储的安全性得到进一步的保证.通过创建分布式存储设施,对提出的存储机制与集中式存储机制进行对比实验,分析实验结果发现提出的存储机制在电力数据存储方面相比于传统的存储机制在系统延迟、响应时间和吞吐量上都更具有优势,表明了该存储机制合理可行,具有良好的应用前景.     

分布式远程教育数据库系统的设计与实现

探讨利用Oracle远程数据访问和分布式事务处理能力建立一个远程教育系统,实现远程数据库间的共享、存储和更新.同时,对分布式数据库系统的体系结构和分布式数据库系统的一些实现技术,如分布策略、高级复制和数据链接以及分布式数据库系统的安全与恢复等进行了讨论.     

微生物废水处理产甲烷的自动控制系统

结合现代的自动控制技术和互联网技术,设计了基于微生物废水处理产甲烷的自动控制系统.选用基于Cortex A9主控芯片的Exynos4412作为控制核心,使用云架构的tomcat服务器进行数据存储,配合现场工业级执行单元与标准专用传感器,实现了微生物培养进而处理工业废水以及提高甲烷生产含量的目标.实际运行结果表明:该系统成功将废水处理至排放标准并使得生产的甲烷含量由52%提升至77%,具有较高的实用价值和应用推广价值.     

基于ASP的WEB数据库智能查询

在网站信息处理工作中,Web数据库服务器能为访问者提供海量数据的存储和维护服务.就如何通过ASP把附加信息嵌入到链接中,在网络上实现客户端的智能查询作了一些探讨.     

OPC技术在DCS数据访问中的应用

使用Visual C 设计了一个基于C/S模式并用于过程控制的对象链接和嵌入(OPC)的客户端.通过该客户端成功地实现了Visual C 与SIEMENS Windows控制中心(WinCC)之间的动态数据交换.利用Visual C 中的ActiveX数据对象(ADO)数据库接口,把WinCC中的数据存储到结构化查询语言数据库服务器(SQL server)中,实现了实时过程数据从WinCC到标准数据库的转存,解决了WinCC自带数据库中的数据访问困难的问题,为用户访问提供了标准数据源.最后给出了具体的实现步骤.     

基于VC++和数据库的串口监控系统软件的开发

讨论了Windows环境下实现串行通信的3种基本方法,针对串口监控系统的实际情况,在VC++环境下,分别采用Windows API函数和MSComm控件开发串行数据库通信软件,实现前方数据的实时采集与存储,分析比较3种方法的优缺点.系统采用目前实时系统中广泛使用的Access2000关系型数据库作为管理数据的工具,具有强大的动态数据交换,对象链接和嵌入特性以及网络共享和ODBC特性,可快捷高效的进行数据的管理.数据库模块的设计采用标准的SQL结构化查询语言,选用ODBC数据库访问技术,存储速度快,内存消耗少,操作简单.     

无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

基于OPC技术规范的远程监控

介绍一种通过采用OPC数据交换接口规范实现的远程监控系统.提出采用双OPC服务器架构实现远程监控,远程客户端不直接通过远程连接访问现场(源)OPC服务器,而是访问同置于远端的远程(目标)OPC服务器,避免了穿越网络执行数据链接的不确定过程,而且便于用户通过支持OPC接口的组态软件或其他可视化OPC客户端软件实现远程在线监控.