基于物化策略的异构数据集成的动态查询调度

主要是引入了物化策略来优化异构数据集成调度算法,从总体上介绍了异构数据集成系统的查询处理流程.为了解决传统查询调度存在的几个问题:成本估计不正确,运行时可用的内存不足和数据传输率无法预测,提出了满足内存限制的一种查询调度的动态策略,主要包括调度条件、监察临界值、物化策略.最后根据动态调度优化对子查询结果进行整合,通过实验证明本文中动态查询调度的优越性.     

一种XML数据到结构化数据的转换方法

分析半结构化树状层次结构的XML文档的结构特征，描述XML结构与关系数据库的对应关系．给出XML文档的DTD中各主要元素与关系数据模型之间的映射规则，设计转换规则脚本的自动生成算法和数据转换算法．     

一种面向时序数据的交互式可视化系统

在科学、经济、工程、工程等各领域,每时每刻都产生大量时序数据.挖掘多维时序数据中蕴含的相关性特征和周期性规律,是可视分析领域研究的重点.本文在总结了过往案例和可视化方法的基础上,提出了一种称为时序螺旋的可视化交互系统.该系统基于时间粒度和时间原语的概念进行设计,旨在通过可视分析的方法,挖掘数据维度之间的相关性关系和周期性规律.时序螺旋综合了年轮图、族线等多种周期性数据可视化布局方法,并辅以多种交互模型互为补充.最后以实际数据集的分析案例展示了我们的方法在探索和理解多维时序数据的有效性.     

A Pricing Model for Big Personal Data

Big Personal Data is growing explosively. Consequently, an increasing number of internet users are drowning in a sea of data. Big Personal Data has enormous commercial value; it is a new kind of data asset. An urgent problem has thus arisen in the data market: How to price Big Personal Data fairly and reasonably. This paper proposes a pricing model for Big Personal Data based on tuple granularity, with the help of comparative analysis of existing data pricing models and strategies. This model is put forward to implement positive rating and reverse pricing for Big Personal Data by investigating data attributes that affect data value, and analyzing how the value of data tuples varies with information entropy, weight value, data reference index, cost, and other factors. The model can be adjusted dynamically according to these parameters. With increases in data scale, reductions in its cost,and improvements in its quality, Big Personal Data users can thereby obtain greater benefits.     

一种Excel数据到结构化数据的转换方法

Excel作为Microsoft Office的一部分,已经被广泛应用于各行各业的数据统计,办公电子表格文档处理等,如何将这些数据与关系数据进行统一管理,Excel半结构化数据与结构化数据的集成是前提.本文采用把XML做为中间转换模型的方法,实现Excel数据与结构化数据之间的转换.     

大数据环境下的动态最短路径算法

数量庞大、类型复杂的海量数据给智能交通带来了新的挑战.文中对交通诱导中的动态最短路径问题进行了研究,提出了动态交通网络数学模型,在此基础上设计了考虑交叉口延时的动态最短路径算法,并使用当前流行的大数据技术,设计了基于Ha Loop MapReduce的动态最短路径并行计算模型,最后在连续流智能交通管控平台上对算法进行了测试.实验结果表明,文中设计的算法和基于大数据的并行计算模型可以有效地查找到大规模路网中的动态最短路径,同时能很好地满足实时性需求.     

COMBAT: A New Bitmap Index Coding Algorithm for Big Data

Bitmap indexing has been widely used in various applications due to its speed in bitwise operations.However,it can consume large amounts of memory.To solve this problem,various bitmap coding algorithms have been proposed.In this paper,we present COMbining Binary And Ternary encoding(COMBAT),a new bitmap index coding algorithm.Typical algorithms derived from Word Aligned Hybrid(WAH)are COMPressed Adaptive inde X(COMPAX)and Compressed"n"Composable Integer Set(CONCISE),which can combine either two or three continuous words after WAH encoding.COMBAT combines both mechanisms and results in more compact bitmap indexes.Moreover,querying time of COMBAT can be faster than that of COMPAX and CONCISE,since bitmap indexes are smaller and it would take less time to load them into memory.To prove the advantages of COMBAT,we extend a theoretical analysis model proposed by our group,which is composed of the analysis of various possible bitmap indexes.Some experimental results based on real data are also provided,which show COMBAT’s storage and speed superiority.Our results demonstrate the advantages of COMBAT and codeword statistics are provided to solidify the proof.     

一种大数据异常检测系统的研究与实现

结合电信业务运营系统,针对大数据异常检测问题,提出了基于相关系数的解决方案,构建了大数据异常检测系统,并应用该系统对业务数据进行分析检测.实验结果表明,系统具有较强的可用性和可靠性.     

基于多源大数据的旅游预警系统架构设计

本文在对已有的旅游预警系统及方法综述的基础上,提出基于多源大数据的旅游预警系统架构。构建了多维的预警指标体系,包括区域经济数据、通信及位置数据、互联网搜索数据及社交媒体数据。该框架有望为大数据时代下更加及时和准确的旅游预警提供方法和决策支持。     

跨平台嵌入式GIS系统设计关键技术研究

着重研究各种嵌入式平台下GIS系统的公共模型中的地图缩放、地图坐标分类及相互间的转换这两种嵌入式GIS系统设计所必须的视图显示技术以及路网模型、数据模型这两种具有很强设备无关性的模型设计问题,为构建一个可进行跨平台二次开发的嵌入式GIS系统提供了理论依据。     

一种大数据平台敏感数据安全共享的框架

 大数据平台存储了海量的用户敏感数据,这些敏感数据的共享有助于企业降低为用户提供个性化服务的成本,实现数据增值,而数据的安全共享是一个亟待解决的问题.通过分析敏感数据安全现状,提出了一个大数据平台敏感数据安全共享系统框架,包括数据平台上敏感数据的安全提交、存储、使用和销毁;研究了基于密文异构转化的代理重加密算法和基于虚拟机监控器的用户进程保护方法等关键技术,为系统功能的实现提供了支撑.该框架能够保护用户敏感数据的安全性,有效实现这些数据的安全共享,同时使数据拥有者完全掌握自身数据的控制权,从而有利于营造现代互联网信息安全的良好环境.     

A Cloud Service Architecture for Analyzing Big Monitoring Data

Cloud monitoring is of a source of big data that are constantly produced from traces of infrastructures,platforms, and applications. Analysis of monitoring data delivers insights of the system's workload and usage pattern and ensures workloads are operating at optimum levels. The analysis process involves data query and extraction, data analysis, and result visualization. Since the volume of monitoring data is big, these operations require a scalable and reliable architecture to extract, aggregate, and analyze data in an arbitrary range of granularity. Ultimately, the results of analysis become the knowledge of the system and should be shared and communicated. This paper presents our cloud service architecture that explores a search cluster for data indexing and query. We develop REST APIs that the data can be accessed by different analysis modules. This architecture enables extensions to integrate with software frameworks of both batch processing(such as Hadoop) and stream processing(such as Spark) of big data. The analysis results are structured in Semantic Media Wiki pages in the context of the monitoring data source and the analysis process. This cloud architecture is empirically assessed to evaluate its responsiveness when processing a large set of data records under node failures.     

大数据下的PAC-Bayesian学习理论综述

概率近似正确(PAC)是研究"可学习"的理论框架。近年来,研究人员融合贝叶斯方法与不依赖分布的PAC性能度量提出了所谓的PAC-Bayesian学习理论。该理论因其对于任意概念空间任意测度的先验均能给出泛化误差界而在人工智能不同领域的相关算法分析中得到广泛应用。文章综述了PAC-Bayesian学习理论的由来及其核心思想,进而结合大数据的特点,论述了PAC-Bayesian适合于大数据相关算法的理论分析。     

面向RDF数据的语义扩展查询方法

随着大数据时代的到来,互联网所承载的信息呈现出异构性强、价值密度低、来源分布广、实时性高等新的特点.因此在信息检索时,与获取相关网页相比,人们更希望获得页面中包含的知识.RDF作为一种新的知识表示和发布形式,以其精确且易于理解的语义结构得到了广泛的认可和应用.但传统基于语法匹配策略的SPARQL查询方法无法发现RDF数据中不同谓词间的隐含语义,不能从语义层面上获取更加完备的查询结果.针对这一问题,设计了一种新的查询方法来扩充传统SPARQL查询模式.首先分析RDF三元组中谓词的语义属性.在此基础上,根据不同谓词间语义属性的标注,对输入SPARQL语句中具有语义属性的谓词进行扩展,从而给出了一种新的一般化的查询策略.最后通过实验验证了这种语义扩展查询方法的可行性和正确性.     

基于大数据的重大工程智能群体决策支持系统研究

随着工程建设行业的规模化及国际化发展趋势,重大工程逐渐成为国家发展的重要标志.重大工程的复杂性往往导致决策不确定性并引发管理中的诸多难题.为高效解决重大工程决策主体多元化所带来的信息不对称、决策方案冲突等问题,将智能决策方法融入重大工程群体决策过程中,构建了基于大数据的重大工程智能群体决策支持系统(BD-IGDSS),并通过将BD-IGDSS应用于中泰铁路工程及港珠澳大桥工程,分析该系统在重大工程决策管理中的优势.     

Deep web结构化数据集成研究综述

Deep Web的规模和所包含的信息量都在飞速发展。因此Deep Web数据集成已成为一个新的研究热点,文本对deep web数据集成领域的若干问题进行了总结,并对未来的工作进行了展望。     

基于Q的多代理语义信息互操作查询系统

在引入并实现本体映射的基础上，基于Q语言(一种设计代理(Agent)和用户交互的场景描述语言)，提出了一个语义Web上多Agent信息互操作查询系统．该系统由领域本体服务器、本体映射服务器、语义信息源、以及多Agent查询系统组成．映射服务器通过映射规则提供概念转换功能，Q用于描述和统一多Agent查询系统中的Agent到Agent以及人到Agent的交互．系统结构的原型实现表明：通过Q场景(scenarios)，终端用户可以灵活和交互地控制多个Agent的行为，以实现信息互操作查询．     

交互式数据迁移系统及其相似检测效率优化

为保证数据迁移后新系统的数据质量,把数据清理应用于数据迁移之中,提出一种集成数据清理的交互式数据迁移系统,并分析其工作原理．为了提高该系统中相似重复记录的检测效率,在相似重复记录检测中采用长度过滤等方法优化相似检测算法,避免了不必要的编辑距离计算,从而提高了整个数据迁移系统的数据迁移速度．此外,构造了合适的实验环境,作了大量的检测实验,实验结果验证了长度过滤方法的科学性．