股票交易数据文件的抽取算法研究

目前市场上有很多股票交易软件,这些软件会根据股票交易的实际情况定期产生股票交易信息数据,并将这些信息数据写入二进制格式的文件中,如DAY文件等.由于这些文件不是文本文件,无法直接使用常规的文件读写进行数据的抽取,而必须设计一种数据抽取算法完成相应操作.对DAY文件进行了分析和研究,在此基础上设计了一种数据抽取算法,并利用JAVA语言实现了数据抽取算法程序,利用该程序完成了从DAY文件中抽取数据并写入数据库的实验.实验结果表明,该程序能够正确地从DAY文件中抽取数据,为后期的股票信息处理和数据挖掘提供了重要的基础.     

一种混沌状态数据包的数据抽取算法设计与实现

针对数据挖掘项目实施过程中常规的数据抽取方法的局限性以及数据抽取效率较低的状况,提出并设计了一种高效的数据抽取算法,算法具有控制参数通用性配置、数据包文件自动搜索与识别、数据自动分类抽取及数据自动存储等特点.测试结果表明,算法能够极大地提高数据抽取的效率.     

数据库原理教学中数据库设计优化方法探讨

高速处理大容量的数据是数据库设计优化所要解决的问题,本文就此进行了教学探讨。文章首先给出了数据库设计的一般过程,然后从范式优化、索引优化、表的优化及查询优化探讨数据库设计优化的方法,最后对它们的综合使用进行了分析。     

基于表空间和数据文件探讨MIS中数据库架构设计

在MIS现有数据架构基础上,针对MIS中数据库架构优化问题,研究表空间与数据文件设计,以优化其数据库为目的,应用表空间和数据文件技术,设计MIS数据库架构,提升MIS数据库的运行效率。研究结果证实,运用表空间和数据文件技术,优化设计MIS数据库架构中,不仅能够减少数据库的操作难度,也可以降低数据库管理成本,提升12.0%繁荣数据库运行效益。研究结论中表明,基于表空间和数据文件,优化设计MIS中数据库架构,发挥积极研究意义。     

DCQD:一种物联网高性能数据采集平台的设计与实现

在物联网环境中,大量的传感器产生了海量的数据.这些数据通常都需要写入到数据库中来实现数据的分析与应用.当这些物联网海量传感器数据插入到数据库中的时候,会在存储系统中产生严重的小数据同步写性能瓶颈.针对此问题,本文设计了一种高性能数据库磁盘缓冲队列DCQD(Disk Cache Queue for Database).DCQD在保证物联网采集数据同步写入磁盘,确保不丢失数据的基础上,可以显著优化海量数据插入到数据库中的性能.实验表明,DCQD在物联网应用环境中,可以显著地提高数据采集系统的性能.     

VCT矢量格式到GDB转换算法研究

目的提出国家标准地球空间转换格式(CNSDTF)的矢量格式(VCT)到空间数据库(Geodatabase,GDB)的转换算法,建设土地资源数据库,共享地理数据资源.方法对VCT和GDB的数据结构进行对比分析,得出其对应关系,然后基于Arcgis Engine二次开发平台,使用C#编程语言,基于动态索引和文件分割对VCT进行数据格式转换.以辽宁多个市区土地资源的VCT数据,验证VCT矢量格式到GDB转换算法(VDFCO)的稳定性.结果 VDFCO优化了传统的依序数据格式转换方法,避免了数据文件转换过程中几何和属性信息的丢失,以较少的内存资源快速地完成了VCT的读取和要素的转换,实现了空间数据的共享.结论 VDFCO算法运行稳定,使得基于GDB的土地资源数据管理系统能够共享我国施行的标准地球空间转换格式,提高了数据库建库系统的原始数据的重复利用.     

基于LevelDB的二维数据二级索引实现

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key-Value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性.     

一种改进的Apriori算法

本文针对经典的Apriori算法需循环扫描数据库的问题,提出了一种改进的Apriori算法,描述了在数据离散化的基础上只需扫描一遍数据库的算法思路,给出了算法实现的具体过程,并通过典型数据实例进行了验证和对比分析.     

一种自适应FTP服务器的增量文件下载算法

FTP服务器是数据挖掘过程中重要的数据存储源.目前存在的文件下载策略在下载增量文件时有较多的局限性,具有无法自动判断增量文件以及文件重复下载等问题,从而使得增量文件下载效率较低.通过对文件下载算法的研究,提出并实现了一种新的自适应FTP服务器增量文件下载算法,进行了算法通用性、自适应网络环境的断点续传、下载速率的优化等方面的研究,并进行了算法的下载实验分析,完成了文件下载速率优化的比较.实验结果表明,新算法能够自动搜索FTP服务器增量文件,能自适应网络环境实现文件快速下载,在大数据量的FTP数据源中提高了增量文件的下载效率.     

基于服务专业化的数据抽取方法研究

办公过程的报告撰写是重要的行政工作之一.针对报告撰写过程中格式基本统一而数据需要随时更新的现实需要,提出一种基于原始数据的报告数据抽取方法,通过数据库技术的支持,归纳总结报告中数据需求的内容与特征,搭建专业化的数据抽取框架,辅以相应算法,实现各类相关统计数据的及时抽取并迅速形成工作报告主体内容.文中用示例验证了该方法的有效性,能达到辅助办公的目的.     

基于Pro/E的外部数据管理

本文介绍了基于Pro/E的外部图形数据管理问题,提出了一种基于Pro/E内部数据库和外部数据库统一进行数据管理的思想,实现了对Pro/E内部数据库参数数据的访问、提取,以及外部数据库的数据信息写入Pro/E内部数据库的功能.     

一种物联网数据库高性能廉价闪存缓冲队列机制

在物联网环境中,大量的传感器产生了海量的数据.这些数据一般需要立刻保存到数据库中,以实现分析与应用.大量传感器数据写入到数据库中,会在存储系统中产生严重的小数据同步写性能瓶颈,严重影响数据库系统性能.本文设计了一种物联网数据库高性能廉价闪存缓冲队列——IFCQD（Inexpensive Flash Cache Queue for Database）.IFCQD充分利用了USB 30接口与FLASH闪存的高速特性,在保证数据同步写入存储器,不会意外丢失的基础上,可以显著地优化大量数据写入到数据库中的性能.针对FLASH闪存的特性,本文还使用了双重索引法来提高闪存缓冲机制的性能.实验表明,IFCQD机制可以基于廉价的闪存,在物联网应用环境中显著地提高数据采集系统的性能.     

基于Finsler几何的k-means算法

针对k-means算法存在的相似性度量、准则函数优化效果不理想及多维流形数据分析性能效果不好等问题,引入Finsler几何中的Finsler度量,提出了一种基于Finsler几何的k-means算法,并在UCI数据集和ORL人脸数据库上与传统k-means算法及SBKM算法进行了比较,实验结果验证了该算法的可行性和有效性.     

物联网感知信息采集过程重复数据批量剔除方法

针对目前重复数据批量剔除方法中提升压缩比和降低数据开销之间的矛盾,提出一种物联网感知信息采集过程重复数据批量剔除方法.首先将物联网感知信息采集数据文件组织作为数据位图的排列形式,结合滑动分块算法对系列形式进行更新,以列的形式读取数据信息,组成新的数据块.然后计算不同数据之间的相似度,通过量子粒子群优化算法优化BP神经网络,组建重复数据批量剔除模型,通过模型完成重复数据剔除.最后进行性能测试,实验结果表明,所提方法能够有效提升平均压缩比,降低平均时间开销和重复数据批量剔除错误率.     

基于Neo4j的药膳方图数据库设计与优化

构建完善的、适合对药膳方进行关联规则、配伍规律挖掘等深入研究的数据库是研究药膳方、推广药膳方必不可少的一环.本文在分析了Neo4j图数据库在管理药膳方以及对药膳方进行数据挖掘的优势的基础上,以《中国药膳大辞典》为数据来源,给出了采用Neo4j构建药膳方剂图数据库的详细过程,包括节点的选取、定义,关系的抽取及定义,最后通过查询优化得到了有效的分析数据,为深入研究药膳方提供了数据支持及技术指导.     

协同数据库中异构数据的集成技术

探讨分析协同环境下各协作方交互过程中存在的数据异构问题,针对协同数据库的特点及设计方法,提出一种计算机支持的协同工作(Computer Supported Cooperative Work, CSCW)环境下异构数据的集成结构模型,并对模块查询过程的算法进行描述,阐述可扩展标记语言(Extensible Markup Language, XML)文档与数据库数据的映射这一异构数据集成的关键技术,解决协同数据库环境下信息的共享问题.     

一种用于存放带约束多目标关联文件的进化算法

海量数据存储领域要解决的关键问题之一是如何将相互关联的数据文件存放到光盘等有限存储空间的介质上,同时要求文件关联性尽量保持完整以及存储空间的利用率尽量高.通过分析多目标优化问题的基本原理及研究当前解决此问题的常用进化算法,提出一种存放带约束多目标关联文件的进化算法.与SPEA2的实验进行对比,分析结果表明在Pareto最优解集的获取上效果明显.     

基于关联规则与相似度的数据挖掘算法研究

针对使用传统关联规则算法挖掘大数据集时,挖掘过程中效率不高,挖掘出大量冗余规则的问题,提出了基于关联规则和相似度的数据挖掘算法(U-APR):首先,一次性读入数据并构建矩阵,并利用关联规则支持度度量的特性来增加判断属性,以加快结束迭代过程,从而改进了Apriori算法频繁扫描数据库问题;然后,使用相似度算法去除冗余的关联规则;最后,结合置信度、支持度和用户目标匹配度对挖掘结果进行排序输出,从而得到用户感兴趣的关联规则. 同时,应用该算法与目前常用的2种关联规则算法对广东某高校学生财务数据进行数据挖掘. 实验结果表明:与2种常用的关联规则算法相比,U-APR算法缩短了运算时间和提高了存储空间利用率,对用户分析挖掘结果有较好的优化效果.     

一种基于OPTICS和IncLOF的异常数据挖掘算法

在动态增加的数据库环境下,异常数据挖掘中二次挖掘时需重新计算数据集中所有数据对象的局部离群因子的超高时间复杂度问题,在Ioc LOF算法中得到解决并取得良好效果.当向数据库中同时增加多条数据对象时,其算法时间效率下降很快.本文提出一种新的异常数据挖掘算法,先用改进型OPTICS算法进行聚类,然后调用Inc LOF算法仅对部分受影响的数据对象计算局部离群因子.通过实验结果表明,与传统的Inc LOF算法相比,本文提出的算法在动态增加的数据库实验环境下,不仅算法时间效率得到提高,在异常数据挖掘的精度方面也有一定的优化.     

量子化信息素蚁群优化特征选择算法

蚁群优化算法凭借其正反馈机制和强大的搜索能力被广泛地应用于各类优化问题求解上.本文试图将蚁群优化算法应用于特征选择领域并提出了新的量子化信息素蚁群优化(quantized pheromone ant colony optimization, QPACO)特征选择算法.相比于其他基于蚁群优化算法的特征选择算法,QPACO算法中采用了量子化信息素的启发式策略,改变了传统的信息素更新策略,因此避免了在搜索特征时的局部最优问题.实验采用了KNN分类器来指导学习过程,利用源于UCI数据库的多组数据集进行了相关的测试,实验结果表明,QPACO算法在分类精度、精确率、召回率和维度缩减率等方面均具有良好的性能.