ORACLE分区技术

在超大型数据库和数据仓库中,普通的数据库建表方式已经不能满足海量数据的存储和应用要求。针对这一情况,ORACLE以独到的分区技术解决了海量数据应用问题。本文深入浅出地介绍了基本的ORACLE分区技术,以求管中窥豹。     

分区技术在SQL SERVER和ORACLE中的应用

介绍了分区技术的概念，阐述了ORACLE中的分区技术和SQLSERVER中的分区技术，并对SQLSERVER与ORACLE中的分区技术进行了比较。     

Oracle 分区表和分区索引在 VLDB 中的研究

分区表和分区索引功能是数据库管理中的关键技术之一,是海量数据库管理(Very Large Databases,VLDB)中一个重要的性能提升机制.分区技术的原理是将逻辑上的一个大表拆分成多个独立的物理分区来存储,从而提高数据I/O性能.面对大数据的存储,几乎所有Oracle数据库都用分区技术来提高查询数据的性能.通过分析一个项目案例,说明如何综合使用分区表和分区索引来提高大数据的查询速度.     

基于表分区的火车售票海量数据的优化研究

在推行火车票实行实名制的同时,由于旅客信息量过大,造成数据处理速度非常慢,如何才能将该速度提高到用户满意的程度,本文提出使用表分区技术来进行优化。文章在介绍表分区工作原理的基础上,提出使用范围和列表两种分区技术,并以虚拟实名制火车票销售表作为原始数据,分别进行常规表和分区表的查询测试,经范围分区和列表分区优化后的表比常规表查询效率分别提高了55%和42%。结果表明,在访问海量数据时使用表分区技术能有效组织数据、合理利用磁盘空间、降低管理数据的成本、缩短搜索时间,从而达到性能优化的目的。     

储罐罐表数据管理系统的开发和应用

金属储油罐的检定和罐容量表数据的使用是计量中的一项重要工作。本文主要介绍了利用.NET工具和ORACLE数据库技术开发的集油罐检定数据处理、罐表数据使用和综合管理于一体的数据库管理系统的方案设计、功能设计和系统特点,并例举了该系统在兰州石化公司实际生产中的应用。     

ORACLE数据库优化技术研究

ORACLE数据库是一个以关系型和面向对象为中心管理数据的数据库管理软件系统,其在管理信息系统、企业数据处理、因特网及电子商务等领域有着非常广泛的应用。本文对ORACLE数据库性能调整和优化进行了简要分析和研究,将SQL语句、表和数据规范化的优化作为主要研究内容。通过ORACLE数据库的优化,能够有效地提高各终端程序的运行性能,提升数据库服务器应用性能。     

大型关系表规则的研究

通过介绍从包含定量和定性属性的大型关系表中开采相关规则的问题 ,同时将关系表中的属性值分区 ,并且用相联相邻的分区来处理定量属性 ,引进部分完全性方法量化由于分区丢失的信息 直接应用这种方法会产生大量相似的规则 ,为此 ,引用一种概率的方法确定输出感兴趣的规则 这种技术可应用在现实的数据库上     

超大容量表的Web查询优化和并发处理

分析了超大容量表的特点,通过对超大容量表的存储优化、查询优化和并发处理进行分析,用L／O均衡、表及索引分区和SQL查询优化等方法实现Web并行查询．实例证明经优化后查询速度大大提高。     

数据仓库的检索和存储优化策略

本文针对数据仓库的检索和存储优化展开讨论,提出了一种能够有效提高OLAP(联机分析处理)的策略.文中将数据量大的表进行拆分重组,将其中的各个索引建立为独立的索引表.这样,原来的一个大表就分割成由几个索引表和剩余信息组成的表的集合.这些索引表反映了大表不同维的信息,可以单独使用.当根据索引检索时不用扫描表中的所有信息,而只需扫描索引表即能找到.利用索引表进行检索有效的减少了检索范围,从而提高了检索效率.将该方法应用于实际系统中,取得了显著效果,具有很强的实际意义.     

民航气象数据库管理监控系统的设计与实现

在分析和总结系统业务流程的基础上对气象数据库管理及监控系统的建设方案进行研究,提出了采用分区数据存储、分批数据清除、数据泵等技术对气象数据进行存储管理,建立了基于性能基线的数据分析方法和RMI通信技术的远程气象数据库管理监控系统.系统在民航气象领域的成功应用,表明该方案提高了系统的实时性和稳定性.     

SQL Server索引的优化

SQLServer优化技术对提高系统性能至关重要 .为充分利用索引 ,优化表的查询机制 ,从而提高SQLServer查询速度 ,本文从建立有用的索引减少表扫描I O次数 ,优化WHERE子句避免列操作 ,合理应用复合索引选好第一索引列和使用聚集索引使数据在物理上按顺序排列四个方面加以阐述     

维、哈、柯全文搜索引擎索引器的设计与研究

本文主要分析研究维、哈、柯全文搜索引擎索引器出现的关键问题，介绍了一系列有效的解决方法．这螳主要包括符合维、哈、柯语言的倒排索引表的结构，检索过程中的计算疗法，更新倒排索引表的措施和处理低频词等等．通过试验和实际应用过程中证明了以上方法很符合处理维、哈、柯全文搜索引擎索引器的出现的关键同题，明显提高维、哈、柯全文搜索引擎索引器的索引功能．     

基于气象数据的贵阳市建筑热环境分析探讨

介绍了贵阳市典型气象年建筑热环境分析用气象数据,并对这些数据进行了总结分析.在此基础上,根据气象数据及采暖度日数和空调度日数两个指标,对贵阳市建筑气候分区区属进行了探讨.最后,讨论了贵阳市主要暖通空调技术的适用性.     

SQL Server索引的优化

SQL Server优化技术对提高系统性能至关重要.为充分利用索引,优化表的查询机制,从而提高SQL Server查询速度,本文从建立有用的索引减少表扫描I/O次数,优化WHERE子句避免列操作,合理应用复合索引选好第一索引列和使用聚集索引使数据在物理上按顺序排列四个方面加以阐述.     

开源软件中的大数据管理技术

 随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点。     

SCI及其衍生产品与科研学术绩效评价

介绍了引文索引的功能及其异化过程,探讨了国内外科研学术绩效评价中引文数据的应用,分析了SCI及其衍生产品的科研绩效评价功能,阐述了SCI来源刊及其分区依据。     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

大数据环境下Lucene性能优化方法研究

为提高大数据环境下的数据查询分析效率,该文结合内存计算技术和批量更新技术提出一种优化倒排索引方法——内存磁盘索引(RFDirectory)。基于Lucene实现内存和磁盘相结合的倒排表管理技术。将新增数据写入缓存中,并周期性地写入磁盘索引结构中,从而提升倒排索引的写入性能。通过整合磁盘和内存的多分块倒排结构,为用户提供高效的数据查询分析结果。实验结果表明:在大数据环境下,RFDirectory方法的索引构建时间缩短为磁盘索引(FSDirectory)、内存索引(RAMDirectory)方法索引构建时间的50%,返回1个关键字的检索结果耗时缩短了近15%。     

基于HBase/Spark的教学大数据存储及索引模型研究

为解决海量教学数据的高效处理和管理,提出基于HBase/Spark的教学大数据存储及索引模型设计.先基于组合行键构建HBase表,根据教学Course分类进行预分区,并构建cost评分函数,来检测并迁移负载,达到解决数据存储时写热点和负载均衡的问题.语义解析、组合行键索引查询、Spark并行属性条件过滤实现教学大数据高效查询.实验证明基于HBase/Spark的教学大数据的模型,能够实现更加高效的教学大数据访存管理.     

一种利用角色管理增强ORACLE数据库安全性的方法

在ORACLE数据库中存在的应用系统用户和数据库系统用户权限管理不统一的问题,给数据库的安全带来了安全隐患,通过RBAC技术实现了前台应用系统用户与后台ORACLE数据库用户权限的统一.