数据质量维度与框架研究综述

为了对数据质量维度有一个全面、清析而准确的定义,便于在领域层面达成一致,也为从现存的数据质量管控技术架构中选择出合适的框架提供依据,对数据质量的发展历程和维度以及其管控框架进行了全面的研究。通过研究明确了复杂的数据质量维度指标,按其名称和定义提供一套比较全面的数据质量规范,并对其质量管控技术框架进行了综合研究与对比。该研究能科学地指导具体应用需求选择合适的数据质量框架和比较全面的数据质量维度实现对数据的评估,同时可节省大量的时间,减少人力和物力支出。     

重删环境下双 B-树索引性能优化研究

为了减少重删环境下磁盘访问次数,提高重删系统的读取性能,提出了一种基于双B-树的索引结构DBIS(Double B-tree Index Structure).DBIS由两种结构不同的B-树构成,B-tree-1通过优化B-树结构,提高检索效率;Btree-2则在B-树的基础上,结合改进的LRU算法构成优化的索引结构,提高了检索命中率.实验验证了DBIS的有效性和优越性,达到了对重复数据删除系统读性能优化的目的.     

大数据下的智慧校园建设研究——以“智慧甘农”为例

随着大数据、云计算等新型信息技术的广泛应用,数据迎来了井喷式的增长阶段,大数据的应用受到了更多的关注。本文介绍了在大数据背景下甘农智慧校园建设的现状,分析了智慧甘农在目前建设过程中所面临的问题,提出智慧校园建设思路及智慧校园建设的总体框架,并对其应用进行了研究分析。     

二值响应数据贝叶斯中位数估计

中位数回归是一种稳健的估计方法,在实践中有着广泛应用.基于贝叶斯方法研究二值响应数据的中位数估计问题,通过引入合适的潜在变量得到了贝叶斯层次模型,进而得到易于后验抽样的吉布斯抽样程序.为验证新方法估计的稳健性,通过大量数据模拟,并与已有方法进行比较,得到了满意的结果.最后实例数据分析进一步证明了所提方法的有效性.     

基于流类型的SDN数据平面故障恢复算法

软件定义网络(software defined networking,SDN)的网络拓扑中,链路故障恢复目标是保证故障恢复时延在可容忍范围内、减少数据包丢失和节约交换机存储资源.现有研究方法对链路故障恢复考虑了恢复时延、数据包丢失率、网络吞吐量等因素,没有考虑数据流对网络带宽的要求及运营商/用户的一些特殊限制.为了解决以上问题,同时满足故障恢复时延要求和运营商/用户定制化需求,提出了基于流类型的SDN数据平面故障恢复算法(failure recovery algorithm based on flow type in SDN data plane,FR-FT).该方法根据服务质量要求将数据流分为3类,将运营商/客户的定制化需求绑定到不同数据流上,根据对应约束条件对不同类型数据流制定不同故障恢复策略.仿真结果表明,该方法可以减少交换机流表项消耗、故障恢复时延、数据包丢失率.     

基于动态可调簇的无线传感网络能量感知数据存取算法

针对无线传感网中数据收集、存储和查询的需要,提出了一种基于动态可调簇的能量感知数据存取算法ACEDBA(Adjusted Cluster-based energy-aware Data Brokerage Algorithm).该算法将网络节点分成许多簇结构,簇内节点负责数据采集,簇首节点负责簇内数据的收集、汇聚和转发,数据可以集中存储,也可以分布存储在各簇首节点或本地存储.算法引入能量分级消耗机制,可动态选择和调整簇首节点,保证各簇首节点簇内数据存储和簇间数据转发查询的能量平衡.实验结果表明,与典型数据存取算法相比,该算法的节点能耗均衡、生命周期和查询成功率方面具有优势.     

基于多源数据的河南省GDP空间化

随着社会经济的快速发展,以县区为单位统计的GDP数据不能客观反映县级内部地区的经济差异,对GDP 统计数据进行空间化是解决该问题的手段之一.本文以河南省为例,在GIS平台下采用分产业建模方式,结合土地利用 数据、人口数据、DMSP/OLS数据、GDP统计数据,利用相关分析和回归分析的方法,实现GDP的空间化.结果表明,第 一产业与土地利用类型有密切的线性关系;第二、三产业之和与人口数据、DMSP/OLS数据都有很好的相关性,将人口 数据与DMSP/OLS数据相结合构建的综合因子与GDP2,3之间的相关性更好,相关系数为0.949,R2 为0.901.利用综合 因子与第二、三产业GDP数据回归建模,可以提高第二、三产业空间化的精度.验证结果显示乡镇尺度模拟值与统计值 之间的平均相对误差为10.34%,本研究的模型具有较高的精度.空间化后的GDP的密度图能够反映地区内部的经济情 况,对研究该地区的经济空间差异有一定的价值.      

基于伪数据的机器翻译质量估计模型的训练

为向基于深度学习的机器翻译质量估计模型提供高效的训练数据, 提出面向目标数据集的伪数据构造方法, 采用基于伪数据预训练与模型精调相结合的两阶段模型训练方法对模型进行训练, 并针对不同伪数据规模设计实验。结果表明, 在构造得到的伪数据下, 利用两阶段训练方法训练得到的机器翻译质量估计模型给出的得分与人工评分的相关性有显著的提升。     

一种基于改进替代数据法的图形化混沌判据

替代数据法是非线性系统分析的一种有效方法. 该方法不能直接判断信号是否处于混沌状态,而是基于排除法思路,提高混沌识别的置信度. 文中引入一种针对类周期信号混沌识别的伪周期替代数据法,在数值实验中发现了该算法的3个缺陷:一是相空间重构在实际信号分析中效果不佳;二是替代数据直线化;三是检验统计量容错性较差. 针对这些问题分别提出了改进方法. 使用改进算法对不同类别信号（包括由Logistic模型产生的周期信号和混沌信号以及其它典型混沌信号等）进行数据实验. 发现所有混沌信号在各噪声半径下的复杂度都呈线性增长趋势;而周期信号在噪声半径小于0.1时,复杂度的取值保持平稳,噪声半径大于0.1时,复杂度取值开始单调增长. 对数据实验的结果分析表明:在各噪声半径下复杂度的线性增长趋势是混沌信号的共同特征,可作为一种有效的图形化混沌判据.     

基于波动率测量误差的波动率预测模型

本文研究了一种基于波动率测量误差的波动率预测模型,并做了非线性扩展,期望改进预测效果.考虑到文献中关于波动率可能长记忆性和非线性并存的观点,本文以具有长记忆特征的HAR(heterogeneous autoregressive)模型为基础,加入波动率测量误差后模型持续性有所提高,结合非线性的时变参数模型则达到结构变化和减弱异方差的效果.本文用2652天的沪深300高频数据计算的已实现极差波动率来验证模型效果.固定参数下,在HAR型模型中加入测量误差作为调节变量可以较显著地改善样本外预测效果.时变参数下,加入测量误差的HARQ型模型预测效果大多优于对应的HAR型模型.时变参数模型总体上可以改善固定参数模型的预测效果,尤其在预测期较长的情况下改善均是显著的.