（F,F）-数据离散矩形区域在数据辨识中的应用

应用新数学模型P-集合,提出数据传输中三种异常数据的概念：F-异常数据、F-异常数据与（F,F）-异常数据;提出（F,F）-数据离散矩形区域概念;给出丢失-侵入数据发现定理、系统输出数据分离定理、系统输出数据类型辨识定理、（F,F）-异常数据在（F,F）-数据离散矩形区域的定位定理;给出（F,F）-数据离散矩形区域在系统输出数据类型辨识中的应用。丢失-侵入数据发现定理与系统输出数据分离定理是系统输出数据类型辨识的基础,（F,F）-数据离散矩形区域的提出,为系统数据的几何辨识和系统出现异常数据的预警提供了一种新的理论与方法。     

大规模地形高度数据快速查询方法研究

大规模地形高度数据在以往多是以单实体使用为主,然而一些特殊应用需要多实体同时对大规模地形数据提出数据请求。因此,为了满足多实体对大规模地形数据快速查询的需求,在单实体地形数据分页调度机制的基础上提出了多实体地形数据分页调度机制。新的调度机制能满足多实体同时对大规模地形数据使用的需求。通过测试,证明新的调度机制能够有效地控制内存的使用,同时能使查询时间满足仿真需要。多实体地形数据分页调度机制的提出为日后大规模地形数据应用拓宽了途径。     

(■,F)-数据离散矩形区域在数据辨识中的应用

应用新数学模型P-集合,提出数据传输中三种异常数据的概念:■-异常数据、F-异常数据与(■,F)-异常数据;提出(■,F)-数据离散矩形区域概念;给出丢失-侵入数据发现定理、系统输出数据分离定理、系统输出数据类型辨识定理、(■,F)-异常数据在(■,F)-数据离散矩形区域的定位定理;给出(■,F)-数据离散矩形区域在系统输出数据类型辨识中的应用。丢失-侵入数据发现定理与系统输出数据分离定理是系统输出数据类型辨识的基础,(■,F)-数据离散矩形区域的提出,为系统数据的几何辨识和系统出现异常数据的预警提供了一种新的理论与方法。     

一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.     

海上航拍图像目标定位算法的数据采集

为实现海上航拍图像目标定位,必须实时采集有关定位数据.根据海上航拍图像目标定位算法所需数据,全面分析了定位算法相关数据的分类,提出了相关数据的采集方法,并从实际应用的角度阐述了采集设备的选型原则.为海上航拍图像目标定位算法应用、实现海上航拍图像目标定位提出了数据的采集方法,并提出了采集设备的选型方案.     

大数据产业及管理问题的一些初步思考

大数据时代的到来对已有的管理科学与工程方法提出了严峻的挑战,西安交通大学依托管理科学与工程学科优势,在国内较早开展了大数据相关研究。结合平台建设、国际交流、基金项目等经验,以＂顶天立地＂为目标,对大数据未来研究提出了三个主要方向：数据质量、首席数据官的兴起、以及大数据产业发展,并对三方面的研究重点和内容提出了建议。旨在促进我国学界对大数据的认识,激发更多学者投入大数据相关研究领域。     

基于有向无环图的函数依赖一致性数据生成

针对函数依赖一致性数据生成问题,采用有向无环图作为函数依赖集合的描述模型,提出一种单函数依赖一致性数据生成算法 （TGSFD）;并通过属性排序解决多函数依赖一致性数据生成问题;为了利用流水线技术提高数据生成效率,提出最小独立属性子集概念,并给出了属性集划分算法. 实验表明本文提出的TGSFD和属性排序算法能够保证生成的数据满足函数依赖一致性,属性集划分和流水线技术可以有效提高数据生成效率.      

基于多源浮动车数据融合的道路交通运行评估

针对当前出租车浮动车数据覆盖范围和数据质量不足的问题,在现有数据特征分析的基础上引入百度手机导航和公交车浮动车导航数据,面向道路运行评估和拥堵管理提出了基于出行时间的交通运行指数算法和一种基于出租车、百度、公交车多源浮动车数据融合的道路交通运行评估方法,构建了多源数据融合规则和融合算法.以深圳为例进行了融合效果分析,结果表明所提出的多源数据融合方法效果显著,很大程度上提高了融合结果精度、数据覆盖率、数据可靠性和数据样本量,最后提出了主要应用方向和初步应用效果,能够为国内外城市开展交通运行评估工作提供借鉴.     

((F),F)-数据离散矩形区域在数据辨识中的应用

应用新数学模型P-集合,提出数据传输中三种异常数据的概念:(F)-异常数据、F-异常数据与((F),F)-异常数据;提出((F),F)-数据离散矩形区域概念;给出丢失-侵入数据发现定理、系统输出数据分离定理、系统输出数据类型辨识定理、((F),F)-异常数据在((F),F)-数据离散矩形区域的定位定理;给出((F),F)-数据离散矩形区域在系统输出数据类型辨识中的应用.丢失-侵入数据发现定理与系统输出数据分离定理是系统输出数据类型辨识的基础,((F),F)-数据离散矩形区域的提出,为系统数据的几何辨识和系统出现异常数据的预警提供了一种新的理论与方法.     

K-Canopy:一种面向话题发现的快速数据切分算法

针对海量数据上的话题发现任务,提出了一种均匀快速的数据预切分算法。在保证一定精度情况下,通过该算法可以按照数据的语义关联强度快速有效地将数据集切分成大小均匀的子数据集,以支持后续的话题发现算法的并行执行。实验表明,所提出的方法能够快速切分海量数据,保持块内数据的语义关联,大大提升话题发现的效率与质量。     

海量冗余数据干扰下数据库中数据优化检索方法

针对传统方法对数据库中的数据进行检索的过程中,在海量冗余数据干扰时存在无法区分检索数据类别,降低数据检索的效率和精度的问题,提出一种基于特征模糊接近的海量冗余数据干扰下数据库中数据优化检索方法.利用数据模糊集间的接近度表述海量冗余数据干扰下数据库中数据的一致度,结合数据融合技术,对类间数据实现分类处理.利用模糊集算法准确查询分类数据,对分类数据实现二次聚类计算,细分其类边缘,通过加载辨别函数实现数据定位,完成数据检索.实验结果表明:该方法进行数据检索时具有较高的检索效率和精度,且抗干扰能力较强.     

空间数据集成研究--以空间数据仓库的构建为例

随着空间数据复杂性的增加,现有的空间数据库和空间分析工具已经不能提供足够的决策支持,迫切需要建立大量具有历史数据,以及不同尺度的空间数据仓库．在建设空间数据仓库的过程中,数据集成是一个重要的环节,专门针对空问数据的集成更是一项艰巨的工作,本文在研究了现有的空间数据库,空间数据仓库以及空间数据集成的基础上,首先探讨了空间数据仓库模型的建立过程,然后系统提出了面向空间数据仓库数据模型的数据集成的两个主要的方面：不同数据源的空间数据的集成;不同尺度维上的空间数据的集成.     

人工智能赋能高校数据治理:逻辑、挑战与实践

随着人类社会逐步迈入以情感计算、自然语言处理等智能技术为核心支撑的人工智能时代,数据的战略资源地位日益凸显,数据治理已成为推进高校教育治理现代化的关键工具。人工智能赋能高校数据治理的基本逻辑主要体现在数据管理、数据质量、数据决策与数据服务4个层面。高校数据管理忽视“多方协同管理”、缺乏相对统一的数据质量标准、数据决策在权责限定与顶层设计方面存在缺失、数据服务潜能激发不力制约数据价值高效释放等可被视为人工智能赋能高校数据治理的现实挑战。对此,应创设落位智能共管的高校数据管理职能优化机制、完善校本化高校数据挖掘与共享质量标准、构建基于责权厘定的智能化数据决策体系、优化指向数据价值释放的智能数据服务体系。     

NAND型闪存不溢出存储设计

针对在无人值守的工作环境下,数据存储系统由于数据量太大而发生溢出的现象,以K9K8G08U0A闪存为例,设计读、写、擦除基本的操作,引入非离散数据与离散数据的概念来标识需要存储的数据,利用数据回卷机制来存储数据,把存储空间分成坏块记录区、非离散数据存储区和离散数据存储区3部分,同时设计数据写入方式,确保每次写入的数据在离散履历区和非离散履历区均存在。设计结果表明：在达到离散存储区最大值时,将存储引向离散存储区的开始位置,使离散存储区变成首尾相连的闭合环,从而实现数据存储不溢出;针对数据回卷造成存储时间较早的数据部分或全部被覆盖,造成数据的不完整,采用数据反向分析的方法,通过比较相邻数据存储空间是否有交集来分解出正确的数据;使用数据回卷的存储机制,使存储空间变成一个＂永远存不满的空间＂,确实保证了数据存储不溢出,保存了最新最近的数据。     

数据挖掘在电信网管中的应用研究

根据数据挖掘技术提供的对大量数据进行分析的功能,讨论了如何采用关联规则挖掘技术处理电信网管系统中的大量告警数据和性能数据的问题,重点给出了一种基于挖掘技术的综合数据分析系统,对告警和性能数据挖掘和分析,报表图形展示等技术进行了介绍。     

异构数据库高效数据交换引擎设计

针对异构数据库之间数据交换软件的数据交换不规范、网状数据不通畅、数据同步无保证等问题,设计了一个通用安全高效的数据交换引擎.该设计采用影子表法获取数据,利用文本差异比较得出变化的数据量,并运用差异分析算法解析出数据变化结果集.设计中的数据交换规则与数据更新结果存储均采用了XML文件格式作为媒介,为了保证数据的安全性与可靠性,设计要求对需要传输的数据进行加密处理,并采用可靠的TCP作为数据传输协议的载体.实验表明,该文设计的异构数据库交换引擎可以高效率地完成异构数据库之间可靠、安全的数据交换.     

数据仓库数据加载技术

数据仓库中的数据不是传统数据库中数据的简单堆积，其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要，紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点及拥有的数据类别及组成，重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略，具体给出了数据仓库中5种不同类别数据的加载方法。     

反求工程中的数据筛选与优化的研究

在含复杂曲面的产品反求工程中,通过测量所获取的数据点云通常十分庞大,且具有一定的杂乱性和冗余性,这样的数据不利于定义曲面和产生CAD／CAM数据库数据．针对这些问题,本文利用测量数据的特征线输入技术,降低了测量数据量;并提出了弦切角偏差法对这些测量数据进行过滤筛选,确保生成曲面的数据的有效和规则;同时利用参数样条函数对过滤筛选后的数据进行拟合优化,将数据函数化,以更利于曲面的生成,且能利用数据的函数表达选择优化数据点的数量,并控制生成曲面的质量．     

一种用于数据挖掘算法的数据生成方法

由于受到保密性、时间和数据多样性等一些原因的限制,测试数据集的获取一直困扰着数据挖掘算法的研究.因此,提出一种基于遗传算法和熵的测试数据集的模拟生成方法,生成方法利用遗传算法具有继承性的特性对采集到的少量的真实数据进行扩充和模拟,用熵衡量生成数据与真实数据的相似程度,最终生成规模大的测试数据集,并给出了描述型数据的生成算法.使用此方法,可以生成同真实数据集具有相同的属性,相同的属性取值区间和属性值分布,类似属性关联关系的测试数据集,加速数据挖掘算法的研究进程.     

基于业务规则的数据处理技术

以整合银行数据为例,提出了数据处理的二级架构形式。指出数据处理的概念模型设计、数据源分析和数据抽取转换的方法策略。以目标数据为依据,针对数据源中存在的冗余数据和语义冲突数据、不完整数据和错误数据以及格式或定义不一致的数据分别给出清洗的业务规则,使用SQL Server的DTS工具予以实现并上线使用。