数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

舰船运动姿态极短期预报算法研究

舰船运动姿态数据流的极短期实时预报可以帮助决策者在决策过程中更好地分析问题、评价和制定方案,具有很好的参考价值,故着重对该部分进行研究。考虑到六自由度运动中横摇的影响,故主要针对舰船横摇运动姿态数据流序列具有混沌属性并且连续量大的特点,结合数据流挖掘理论框架,提出了一种基于小波变换的递推最小二乘(recursive least square,RLS)的Volterra核估计算法,用于对监测系统中采集到的连续的横摇运动姿态数据流进行实时预报研究。该方法首先对姿态数据流概要结构进行获取,然后利用小波阈值降噪,最后将降噪处理的数据利用RLS的Volterra核估计算法进行实时预报。通过在舰船横摇运动姿态预报的实践验证表明,该算法可很好地解决运动姿态数据流在线自适应预报问题。     

工程机械远程监测动态实时数据压缩

针对长时间连续远程监测工程机械运行状态信息数据流量很大的问题,分析了实时监测过程中的数据流模型,充分利用数据流本身的冗余特性,提出了多种数据压缩方法混合的压缩策略,包括对时间标签预测编码以及对GPS数据与CAN总线数据字符串相对编码等.应用表明,该算法实现简单、实时性好,且具有较高的压缩效率.     

应用软件无线电的移动终端管理系统资源

针对基于软件无线电的移动终端对计算能力需求的不断增长以及目前的软件无线电硬件平台结构难以有效地实现资源共享这一问题,提出了一种基于软件无线电平台的移动终端系统资源分配管理算法.该算法分析了几种软件无线电通用硬件平台结构模型,建立了WLAN终端的数据流处理链模型,通过引入t-映射算法和代价函数,实现了WLAN终端的功能模块到软件无线电硬件平台的映射,并计算了映射代价.仿真验证表明软件无线电异构平台有效地提高了系统资源的利用率.     

分布式数据流分类关键技术研究

随着数据采集和生成技术的不断成熟,能够生成数据流的应用越来越多,近些年,网络应用进一步普及,单一数据流的应用向着多节点的分布式数据流方向转移,如传感器网络、网络监控、WEB日志以及多站点的信用卡交易数据。这些数据不仅具有实时、连续、规模大的特点,还具有分布式的特征,如何管理和分析大规模的分布式的动态数据集,是研究人员面临的重要课题。针对这种现状,本文给出了同构分布式数据流和异构分布式数据流的形式化描述,分析了集中式流处理架构与分布式流处理架构的优势与不足,讨论了分布式数据流分类算法的最新进展,归纳了分布式数据流挖掘面临的问题和挑战,以及未来可能的研究方向。     

改进的多策略本体映射方法

针对本体映射时未充分考虑语义信息以及运算效率的问题, 提出了一种改进的多策略本体映射方法--ReMAP。对初步得到的初始概念集基于相关度计算进行简化, 以减少参与映射的概念; 为提高映射质量, 在进行概念相似度计算时, 充分考虑本体概念的语义信息, 对概念名称进行语义分析, 将其融入概念名称相似度的计算结果, 并通过制定映射规则对不良映射进行校正处理。算法验证选取OAEI2007 标准测试集, 通过查全率、查准率与F-measure 值对实验结果进行对比分析, 验证了方法的有效性。     

带可信度评估的连续小波DDoS攻击检测算法

针对传统方法难以实时有效检测DDoS攻击,提出了一种带可信度评估的连续小波DDoS攻击检测算法,可以简单、高效、实时地检测DDoS攻击．首先,对流量信号进行不间断地连续小波变换同步分析,通过发现平台突发信号来实现DDoS攻击的实时检测．然后,用报警可信度评估算法对连续小波变换的检测结果进行二次处理,以消除单点突发信号和网络流量噪声带来的影响．实验结果与离散小波变换、N点平均以及梯度法相比表明,所提算法对流量数据中的平台突发信号有着更好的检测效果．     

面向对象的分布式视频会议系统模型

针对分布式视频会议,提出了一个基于对象的分层系统模型,描述了组成系统的各种构件的对象化方法和多媒体间的语义关系。这种模型将多媒体数据流在Ｉ／Ｏ级、处理级和传输网络级进行对象分解。多个对象的分布处理,易于按数据流编程实现,能很好地适应编程环境和网络环境。该模型可充分开发不同粒度的并行性,使媒体处理满足实时应用的需求,程序模块具有很好的可重用性,有利于不同操作环境下系统的实现及互通。     

基于数据平面可编程的负载均衡算法

针对目前网络数据平面存在僵化现象,导致网络中数据流不均衡的问题,提出了一种基于数据平面可编程的负载均衡算法。首先通过带内网络遥测(INT:In-band Network Telemetry)技术获取网络实时状态信息,然后利用提出的BD-ECMP(Bandwidth and Delay Equal-Cost Multi-Path Routing)算法选择数据流的最佳传输路径。采用编程协议无关的包处理器(P4:Programming Protocol-Independent Packet Processors)语言对SDN网络数据平面的数据流进行优化处理,从而实现网络负载均衡。仿真实验结果表明,与传统ECMP算法相比,BD-ECMP算法在平均流完成时间、网络吞吐量及网络丢包率等方面具有明显优势。     

基于无线传感器网络的海洋环境监测预警系统设计

针对海洋环境管理需求,提出并开发了基于智能无线传感器网络的监测系统,完成海洋生态环境监测、数据实时处理.研究了精确检测的方法与算法.系统综合运用无线传感器智能信息处理技术、远程GPRS无线数据通信技术以及基于Internet显示平台的监测点管理查询技术,实现实时在线检测.     

低维显式语义空间下的语义关联度计算方法

语义关联度计算是数据科学中的一个关键性基础问题,在信息检索及自然语言处理等方面有着广泛的应用.针对ESA (Explicit Semantic Analysis)算法存在的局限性,提出一种显式语义特征选择算法,并构建低维语义空间.在此基础上,根据特征概念在Wikipedia中的映射信息,提出一种低维显式语义空间下的语义关联度计算方法.该方法解决了ESA算法在后续语义关联度计算过程中,因高维稀疏空间导致计算效果不够准确的问题.实验结果表明,与当前其他方法相比,该方法的计算结果在皮尔逊相关系数(P)及斯皮尔曼相关系数(S)上与人们的认知判断之间具有更好的一致性.     

MR中融合语义特征传播模型的前景对象感知定位算法

移动主体获得准确的定位信息是构建稳定的混合现实(mixed reality,MR)系统的关键,然而MR中的前景对象对传统定位算法的精度影响较大.现阶段基于深度学习的定位算法可以通过识别前景对象来提升精度,但深度学习模型耗时过高,导致算法实时性下降.针对该问题,提出了一种MR中融合语义特征传播模型的前景对象感知定位算法.该算法依托语义分割网络与一种快速旋转的二进制独立稳定描述子特征(oriented fast and rotated binary robust independent elementary feature,ORB)提取算法构建了语义特征传播模型,实现高速语义特征提取;融合该模型和几何特征检测方法实现算法中的前景对象感知层,并依赖该感知层剔除MR中前景对象的特征点,构建了背景特征点集,实现高精度、高实时性的定位.实验结果表明:在慕尼黑工业大学(Technical University of Munich,TUM)公共数据集的高动态前景对象场景中,相比动态语义视觉同步定位与建图(dynamic semantic visual simultaneous localization...     

基于北斗的建筑形变监测系统设计

北斗具有全天候、高精度、实时、自动化程度高等特点,相对常规位移监测方法,其具有明显的优越性.基于北斗载波相位差分定位技术,设计一套建筑形变监测系统,系统以处理北斗数据的监测平台为核心,平台数据解算采用北斗双频宽巷模糊度分组的单历元算法.测试结果表明系统能够实现厘米级精度的建筑位移形变监测.     

基于VISSIM仿真的公交运行状态监测平台设计

为改进VISSIM仿真实验环境,实现实时动态交通仿真控制策略,构建了基于VISSIM仿真软件及COM接口二次开发的公交运行状态监测平台。基于VB程序设计语言,选取福州市金山大道为研究路段,在实际数据的基础上,利用所搭建的公交运行状态监测平台实时获取路段上每一辆公交车辆的运行数据,并将其可视化,通过与传统仿真输出的数据对比,验证了公交运行状态监测平台的有效性,为下一步实现公交运行状态动态控制提供可能。     

基于语义关联性特征融合的大数据挖掘方法

提出一种基于语义关联性特征融合的大数据挖掘算法.对云存储大数据分布式信息流进行高维相空间重构,在重构的相空间中提取大数据的语义关联维特征量,以提取的特征量为测试集进行自适应学习训练.采用模糊C均值算法进行大数据语义关联特征的稀疏性融合和聚类处理,在聚类中心实现对挖掘目标数据的指向性聚敛,输出数据挖掘结果,并采用特征压缩器进行降维处理,降低计算开销.仿真结果表明,采用该方法进行大数据挖掘的特征提取准确性较好,挖掘数据的聚类能力较强,在实时性和准确性方面具有优势.     

基于相码模型的汉字表征

为解决汉语自然语言处理任务中未登录词问题,人们经常利用汉字的笔画、偏旁、拼音等细粒度特征提高模型的学习能力.为找出这类特征的最佳组合,通过统计方法研究了汉字的音节、起笔、偏旁、声调、词频、笔画数等特征,提出一种可融合多种汉字特征的跨象限助记符映射模型,即相码模型,该模型可自动实现中文字、词与字母编码间的可逆映射.在字符级模型的文本分类实验中,效果理想.此外,模型生成的编码长度适中,保留了可读特性,可用于特殊场合的文本标注,也能为中文文本提供等量的平行语料数据.可见,相码模型是自然语言处理中一个较好的辅助模型.     

基于扩展特征向量空间模型的多源数据融合

本体资源的扩充是自然语言处理的关键问题之一。传统的从单一数据源获取的信息其覆盖率较低,亟需建立一个整体的数据管理平台,对数据资源分类存储与整理。为此提出了AVP数据平台,构建AVP平台所面临的重要问题是多源数据的融合,即将不同来源的网站数据进行语义角色标注,对歧义词条进行识别判断,并最终归并到以义项为基本单位的数据仓库中;为解决多源数据融合的语义角色标注问题,给出了一种自动语义判歧方法。其基本思想是利用词条中的属性值对作为特征模板,并借助于属性值的共现概率,应用扩展向量空间模型对词条进行歧义识别。通过大量的实验对比可知,该系统在各方面均取得优异的成绩,所提出的算法能够很好地解决多源数据融合中的语义判歧问题。     

BioTSA: Annotating Token Semantic Association to Support Biomedical Text Mining

Corpus is a kind of important resource for knowledge acquisition in the natural language processing(NLP). However, up to now, in the biomedical domain comparatively fewer corpus focus on semantic association among all tokens in a sentence. We proposed an annotation scheme based on feature structure theory for enriching biomedical domain corpora with token semantic association(TSA). There are 227 documents of the Bio NLP GE ST training data annotated to form TSA corpus in which each annotated item shows a token semantic association that appears as a triple. The annotation of token semantic association has the potential to significantly advance biomedical text mining by providing rich token semantic information for NLP systems especially for the sophisticated IE systems, such as bio-event extraction.     

网络流量监测中在线数据融合方法设计

在线数据融合方法在网络流量检测中一直有融合精确度低、接收点差的问题。提出一种新的网络流量监测中在线数据融合方法,采集网络流量监测中的实时在线数据,通过卡尔曼滤波法对在线数据进行预测,获取网络流量状态值;并以此为基础,通过时空综合分析,计算节点的量测实时方差;并依据最小二乘准则,对数据进行加权处理,求出加权系数,引入加权数据融合算法,实现在线数据的融合。实验结果表明,改进的融合方法不仅融合精度高,而且所需能耗低,适应能力较强。     

数据流管理系统关键技术研究

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术.