数据挖掘技术在数据抽取中的研究与应用

数据抽取是数据仓库和数据挖掘的基础,将挖掘数据环境和数据抽取技术结合起来,不但可以提高数据仓库的利用率,而且可以加快数据抽取的速度,提高设备的利用率.基于这种理念,以挖掘数据环境来提高数据抽取效率为目的,提出一种将电信数据模型与K-means算法相结合,从而提高数据抽取速度的方法,并探讨了将数据挖掘技术应用于数据抽取的可行性.     

一种用于云计算的数据容灾分配算法的改进

在云计算环境下进行数据容灾分配,可以提高云计算数据资源调度能力。传统算法采用粒子群数据聚类方法进行数据的容灾分配,数据负载均衡差,同时消耗数据任务调度的吞吐率。提出一种新的数据容灾分配改进算法。首先建立云计算环境下数据容灾分配层次结构模型,计算整个数据资源处理平台的整体响应时间,将云计算下的数据资源容灾分配优化问题转化为数据资源分配响应时间最小化问题;利用多用户QoS开销适应度运算机制和粒子群聚类算法对云计算中数据资源任务进行权衡分配,减少数据权衡调度时间,提高数据容灾备份能力。实验结果表明,采用改进算法可以提高数据容灾分配时数据的召回率和云计算数据任务权衡调度能力,在云计算信息处理中具有较好的应用价值。     

提高Visual FoxPro数据访问速度技巧一二

Microsoft FoxPro数据库管理系统可开发出性能稳定、面向对象、使用远程数据的应用程序,但同时也很难避免因数据量庞大、反复访问数据及系统性能等问题而降低数据访问速度。本文从如何提高Visual FoxPro数据的访问速度出发,介绍一些实用技巧和技术帮助我们提高数据的访问速度,改进Visual FoxPro的性能。     

数据挖掘中基于信息熵的自适应聚类时间维度归约

数据归约作为一种数据挖掘中常采用的数据前处理技术,能够有效地提高数据分类的效果,对于时间序列数据,时间维度归约是时序数据挖掘最常用的数据归约技术。以单变量时间序列作为研究对象,提出并实现了一种基于聚类的时间维度归约方法。通过实验表明,该方法能够有效地减少数据维度,有效压缩数据并提高数据挖掘的分类准确率。     

提高水电厂温度数据可用率的几方面

以研究提高水电厂机组温度数据可用率为目的,比较目前水电厂测温系统的几种形式,采用多点降耗法,结合实践经验选择合适的方式降低温度数据的误差,提高机组温度数据可用率。     

基于地面气象数据的质量控制的几点思考

为了进一步提高地面观测气象数据的准确性,避免数据的错误和误差,就要对地面气象数据进行质量控制。本文从气象观测数据的多个具体方面着手,分析了进行质量控制的方法和途径,目的是为地面气象观测数据的文件管理提供指导和借鉴,进而提高气象观测的准确性,提高天气预测的质量。     

数据挖掘商业应用平台的数据预处理管理

如何提高数据预处理的效率,提高数据挖掘过程的可管理性,是数据挖掘者必须考虑的问题之一。通过对一个电信增值行业客户行为的分析,介绍了如何应用数据挖掘商业应用平台所提供的可视化流程图进行数据预处理,以期提高数据预处理的效率和过程的可管理性。     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

油田地理信息系统在线编辑功能的设计与实现

利用WebGIS管理油田地面数据可以有效的提高管理效率,提供决策支持。传统油田GIS系统考虑到安全和技术等因素,并没有开发在线编辑功能,数据定期更新,系统数据滞后于实际生产数据。油田地面管理数据具有变动频繁,变化量小的特点。数据在线编辑的实现,将极大提高油田地理信息系统的时效性和可用性。讨论了利用MapGuide实现在线编辑功能的技术细节,并解决了数据更新和数据安全问题。     

基于SQL Server的数据库备份恢复策略

数据库是一个可以存储数据的安全的地方,数据库管理器提供有效的备份和恢复能力,来确保在灾难和错误后,数据能够尽快的可以被应用所访问。数据库备份是维护数据正确,防止数据丢失的重要手段。备份点恢复策略可以让数据还原到备份点,通过触发备份的方法,可以提高备份的有效性;采用即时点备份策略,可将数据恢复到任意点,提高数据的安全性;通过性能警报监视事务日志使用情况,及时优化日志文件,可以提高系统性能。     

一种基于数据融合的目标跟踪方法

为了提高相控阵波束的跟踪能力,基于多设备源的测量信息,提出一种基于数据融合的目标跟踪方法。该方法依次进行数据外推时延修正,数据检择,坐标变换,再进行测量数据的平滑滤波处理,最后利用动态加权的数据融合处理方法,提高了目标的跟踪预测性能。仿真实验结果表明,提的基于动态加权数据融合的目标跟踪方法具有较高的目标跟踪精度,满足系统要求。     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

一种基于语义的轨迹流数据清洗方法研究

数据清洗的主要任务是将数据中的脏数据检测出来并进行修正,提高数据质量,减小数据质量问题给数据应用带来的影响.由于流数据的特点是数据量大且增长快速,所以针对流数据的清洗研究除了要考虑到数据质量的提高,还需要考虑到数据体积的压缩以缩减成本.现有的方法不能很好的兼顾数据质量的提高和成本的缩减问题,因此在已有的研究基础上提出一种基于语义的轨迹流数据清洗方法——将裸数据转化为语义轨迹,同时将语义作为动态指标去除重复采样和修复异常数据.实验证明,该方法能有效地缩减数据体积以降低保存成本,同时数据的质量密度得到了明显的提高.     

MapReduce模型下增量重复数据检测方法

针对重复数据检测过程中增量数据重复值检测问题进行分析,在基本近邻排序算法基础上,提出增量近邻排序比较算法。该算法通过跳动窗口形式比较相邻数据,大大减少了数据比较次数;同时引入MapReduce模型对该算法加以改进以提高其海量数据处理的能力。实验表明,改进后的增量近邻排序比较算法在保证检则结果准确的前提下,能够有效提高增量数据重复检测的速度,并且算法具有较高的稳定性,更适应海量数据环境中重复数据检测任务。     

栅栏技术在书目数据审校中的应用

为了确保书目数据的准确性和规范性, 书目数据制作单位都要由审校人员对已编书目进行核对、 审查, 因此审校员的业务能力对提高书目数据质量起着决定性的作用. 阐述了栅栏技术在书目数据审校中的应用, 即通过寻找书目数据的栅栏因子,利用这些因子间的相互作用,来完成书目数据的审校工作,最终达到提高数据质量的目的.     

基于地震叠前大角度道集的调谐压制提高分辨率的方法

地震叠前成像的叠加数据受大角度道集干涉调谐作用影响,子波特征模糊、分辨率降低。对此,利用正演模拟首先明确大角度数据干涉的形成机理,即随着入射角的增大,地层时间厚度减小,导致数据发生干涉调谐效应。在此基础上,进一步分析地层顶底干涉的陷频周期条件、正演模拟陷频和假陷频特征,明确了提高分辨率应在资料的原始频带内实施。依据叠前共成像道集的同源性理论,通过构建叠前大角度数据与小角度数据的匹配关系,求解匹配因子用以压制大角度数据的调谐效应,从而提高地震叠前成像的叠加数据的分辨率。在胜利油田CD地区的实际应用表明,该方法能有效提高大角度数据的分辨率,处理的成像道集叠加后分辨率得到了明显提高。     

基于Mirauge3D和Context Capture的无人机倾斜摄影空中三角测量优化研究

针对现有软件解算无人机倾斜摄影数据精度低、失败率高的问题，本研究将Mirauge3D软件和Context Capture软件相结合，利用两款软件各自的优势，来提高倾斜摄影空中三角测量解算的精度和成功率，并以实际生产项目数据为例进行验证。实验结果表明，两款软件相结合，不但提高了空中三角测量的精度，而且提高了空中三角测量解算的成功率，可为从事倾斜摄影数据解算的从业人员提供一种思路，来提高数据的解算质量。     

基于小波网络的遥测视速度异常数据剔除方法

为了提高遥测视速度数据的质量,保证制导工具系统误差分离精度,提出了一种小波网络预测与3σ准则相结合的遥测视速度异常数据检测和剔除方法。将遥测视速度数据加时间窗获得小波网络的训练样本,根据3σ准则对网络输出进行检测判别异常数据,对异常数据用小波网络的一步预测输出代替。试验数据处理结果证明了利用小波网络进行遥测异常数据剔除的可行性。由于小波网络的拟合作用,可以提高输出的信噪比。     

CRM(客户关系管理)数据质量问题探析

阐释CRM数据质量含义,分析数据采集、数据录入、数据更新诸环节中影响数据质量的因素,指出提高CRM数据质量的途径:认真进行数据规划与设计;完善数据工作流程与制度;确保制度有效执行。     

基于MapReduce的高效地理数据水印方法

为了提高地理数据水印算法嵌入和检测水印信息的效率,提出了一种基于MapReduce的地理数据水印方法.该方法以MapReduce编程模型为基础,采用目前鲁棒性最好的基于可变步长量化调制的地理数据水印(VSQM)算法,在水印信息嵌入和检测时并行地处理目标地理数据中的地物,使得该方法的效率较之传统地理数据水印方法大为提高.最后在一个地理数据在线交易系统环境下实现了该方法,并通过一系列实验证实了所提出的方法能够有效提高地理数据水印方法的效率.