金融业数据仓库中星型衍生子维度模式

数据仓库建模是构建数据仓库的核心,通常采用维度模型的建模方式.分析了维度模型中星型模式和雪花模式的优缺点,并针对金融业数据仓库特点,以证券业务为例,提出了星型衍生子维度模式概念,阐述了此结构的生成条件、算法和优点,即在典型的星型模式中,对大维度表中基数较小的相对独立的维度属性进行分解,生成子维度表,用代理键将其与父维度表及事实表关联,这有利于数据装入、提高数据仓库综合查询效率及一定程度上减少数据冗余,这对于金融业数据仓库中多主题的数据建模具有实际应用价值.     

一种适用于数据仓库环境的增量聚类方法

聚类分析要求较高聚类质量和快速响应能力,各行业数据仓库中的大量、高维数据对算法的效率提出了更大的挑战.CURE算法能够提供高质量聚类结果但不满足联机聚类要求.结合数据仓库数据不定期批量、增量更新的特点,提出了一种新的增量式CURE聚类算法——InCURE,利用对象的互连性和近似度,保持原算法的动态聚类特性的同时大大缩短聚类时间.5维、20维、50维的大量数据实际测试表明无论低维还是高维数据,InCURE都比CURE具有更高的效率,适合数据仓库环境下的增量式聚类分析.     

数据仓库在酒店CRM系统中的应用研究

在酒店客户关系管理系统中,要实现对大量客户数据的有效分析和利用,需要建立一个面向分析的多维数据仓库模型,实现从多个角度显示和分析客户数据,为进行数据挖掘提供基础。本文中根据酒店CRM系统的需求,设计了数据仓库的事实表和各维度表,并采用星型和雪花型相结合的多维数据模式构建了酒店CRM系统的数据仓库模型。     

基于自然梯度的概率主组件分析在线学习算法

对于主组件分析模型,传统方法利用特征值分解的方法求解,其计算复杂度为O(ND~2),其中N表示数据规模,D表示数据的维度.概率主组件分析是从概率的角度理解主组件分析模型,此时可以使用期望最大化算法迭代求解,其计算复杂度为O(NDM),其中M表示选取的维度,对于大规模高维数据可有效提高模型效率.但是,在参数更新过程中,概率主组件模型的期望最大化算法需要遍历整个数据集才能更新一次参数,参数更新较慢,同时该算法很难扩展到大规模数据集.本文提出基于自然梯度的概率主组件分析在线学习算法,通过结合概率主组件分析的自然梯度,实现在线增量学习模型.进一步将降维后的数据通过全连接神经网络进行分类,并通过实验证明,该方法在降维效果及算法运行效率上有明显提高.     

一种块增量偏最小二乘算法

增量学习模型是一种有效挖掘大规模数据的数据处理技术。增量式偏最小二乘(incremental partial least square, IPLS)模型是一种基于增量技术的偏最小二乘算法改进模型,具有不错的数据降维效果,但是,IPLS模型每新增1个样本都需要对模型进行增量更新,导致模型的训练时间较长。针对这一问题,基于数据分块更新的思想提出了一种块增量偏最小二乘算法(chunk incremental partial least square, CIPLS)。CIPLS算法将样本数据划分为数个的数据块(chunk),然后再以数据块为单位对模型进行增量更新,从而大幅减少了模型的更新频率,提高了模型的学习效率。在K8版本的p53蛋白数据集和路透文本分类语料库上的对比实验表明,CIPLS算法大幅度缩短了增量式偏最小二乘模型的训练时间。     

一种改进的数据仓库模型

数据仓库被看作是海量数据仓储,准确及时反映源数据库的改变对数据仓库查询响应的正确性至关重要。文章提出一种改进的数据仓库体系结构,在数据仓库中添加一个辅助结构作为接收和存储更新数据的暂存库,直到数据仓库获得空闲周期,加入新的数据和更新必要的视图;通过试验模拟2种数据仓库结构,验证了新的模型在设计和性能上的优越性。     

基于数据仓库的多维模糊分析方法研究

传统的多维分析是维值为确定的一种分析方法,但在实际分析过程中,由于环境的复杂不确定性,分析人员常常提出一些维值不确定的分析需求.在分析讨论多维模糊分析概念的基础上,采用模糊隶属度函数的概念,通过将维表数值的模糊化处理和基于模糊化维值完成事实表转换,提出了一种基于数据仓库的多维模糊分析方法,给出了相应的转换过程和算法.分析结果表明,基于数据仓库的多维模糊分析方法可有效提高多维分析的灵活性和适应性.     

数据仓库中模型转换技术的设计

比较了数据仓库数据库与传统操作型数据库,回顾了“规范的”操作型系统设计,介绍了四种典型的数据模型——实体关系模型、对象模型、维模型和星型模型.提出了一种数据仓库设计中的模型转换技术.     

基于物流成本主题域数据仓库的DSS开发

基于物流成本主题域数据仓库的DSS的研究,在我国尚属一个新的研究课题。在基于物流成本主题域的数据仓库的设计上,采用了星型模型,即一个以物流成本事实表为中心,若干维度表环绕四周的数据仓库模型。在数据挖掘部分,首先对数据进行了聚集,然后使用关联规则挖掘技术,从不同维度对物流成本库中的纪录进行资料挖掘。     

基于DWarf的语义压缩数据方体计算研究

提出了一个可以减少磁盘访问次数的快速Dwarf计算算法Q-Dwarf,避免了在构建Dwarf过程中,计算汇总单元时不必要关闭结点的频繁I/O磁盘访问,节省了时间.并在此结构上构建查询算法以及增量维护算法.实验证明了一系列算法的效率和有效性,尤其适合数据仓库中的高维数据集.     

基于关系数据库的大规模本体的存储模式研究

通过对现有本体存储模式的分析,给出了本体存储模式的设计原则,并基于该原则提出了一种新的本体存储模式.该模式针对本体描述语言的特点,将本体查询常用的信息存放在不同的表中.整个模式易于理解,结构稳定,并且减少了本体查询时进行表连接的代价,提高了查询效率.实验结果表明,该存储模式不仅具有较高的查询效率,而且具有良好的可扩展性,适用于存储大规模的本体.     

R-树聚集在空间数据仓库中的应用

 空间数据库存储空间对象的相关信息,在很多实际应用中需要汇总空间数据,但这种汇总非常耗费时间而且计算代价很高.受非空间数据仓库的启发,可以建立空间数据仓库来加速空间OLAP操作.考虑星型模式且着重于空间维的概念分层,这种分层主要根据空间R-树索引来建立.提出了一个空间查询算法,并考虑了数据更新.     

自动设计交互式、可执行的星型模型

自动设计交互式可执行的星型模型是一种基于Web用户界面的工具．用户可以根据现存的可操作的数据库的一些图表来设计生成数据仓库星型模型．本系统软件能帮助相关人员利用计算机，快速方便的对企业及相关部门所需的数据及信息进行管理、输人，输出、查找，使散乱的信息能够具体化、直观化、合理化．     

排课程序优先级的确定与最简单算法的实现

针对排课系统的复杂性,提出了简单化处理的模型,通过优先级的确定和数据表字段顺序的改变,使得使用这个模型构造的系统的算法简单化.这个简单系统采用了两个数据表和46条核心程序,快速完成了上千门课程的安排,对编程人员设计实际应用的排课系统具有算法上的指导意义.     

互联网信息表与 RDF 数据的集成

网络上存在很多包含实体属性的表格,可以用来扩充RDF知识库,这涉及到实体表与RDF知识库之间的模式映射问题。已有的模式匹配方法仍然不足以用来解决一个实体表与RDF知识库之间的模式匹配问题。为了准确高效的获得Web实体表与RDF知识库的匹配模式,本文提出了一种基于实例的模式匹配的方法,在匹配数据基础上得到统计意义上的Web实体表与RDF知识库之间的匹配模式。依此构建的系统,能根据知识库包含的信息,主动寻找与知识库相关的Web实体表,并利用找到的Web实体表扩充RDF知识库。     

面向视频测量机器人高噪声小视场星图的星点提取

星图识别提取是自动天文测量数据处理的关键环节．针对视频测量机器人拍摄的小视场星图具有高噪声的特性,提出了利用基于合理阈值分割的连通算法来处理此类星图;分析了4种不同星图的图形特征,对比了常见的星点提取算法对真实星图的识别效果;在定性定量分析的基础上,通过验证,得到了阈值分割下的连通算法要优于边缘检测和聚类算法的结论,并获得理想的星点提取效果．真实星空半仿真星图的室内试验表明:利用该算法可以准确可靠地计算恒星质心坐标,其水平和垂直方向均方根误差（RMSE）分别为0.025和0.021像素,可满足高精度的天文测量需求．      

一种利用词典扩展数据库模式信息的Text2SQL方法

现有Text2SQL方法严重依赖表名和列名在自然语言查询中的显式提及，在同物异名的实际应用场景中准确率急剧下降.此外，这些方法仅仅依赖数据库模式捕捉数据库建模的领域知识，而数据库模式作为结构化的元数据，其表达领域知识的能力是非常有限的，即使有经验的程序员也很难仅从数据库模式完全领会该数据库建模的领域知识，因此程序员必须依赖详细的数据库设计文档才能构造SQL语句以正确地表达特定的查询.为此，本文提出一种利用词典扩展数据库模式信息的Text2SQL方法，该方法从数据库表名和列名解析出其中的单词或短语，查询词典获取这些单词或短语的语义解释，将这些解释看成是相应表名或列名的扩展内容，与表名、列名及其他数据库模式信息（主键、外键等）相结合，作为模型的输入，从而使模型能够更全面地学习数据库建模的应用领域知识.在Spider-syn和Spider数据集上进行的实验说明了所提出方法的有效性，即使自然语言查询中使用的表名和列名与数据库模式中对应的表名和列名完全不同，本文方法也能够得到较好的SQL翻译结果，明显优于最新提出的抗同义词替换攻击的方法.     

任务计划适应性改造优化建模及方法

针对指挥控制(C2)组织资源层-任务计划的适应性优化问题,提出了一种方案改造代价限制条件下的任务计划适应性优化(AOMPTP)问题模型及求解算法。介绍了国内外学者对任务计划适应性优化及适应性测度的研究成果,在分析方案改造代价的必要性和衡量标准的基础上,给出了方案改造代价的定义和约束条件。在方案改造代价限制条件下,建立了以使命完成时间最短为目标的问题数学模型,设计了求解该模型的多维动态列表规划(MDLS)及循环遗传(CG)算法,使指挥员能够更好地权衡方案改造优化的性能与代价,作出决策。最后通过实验分析,验证了所提方法的有效性和适用性。