基于Top-k(σ)的无线传感器网络异常数据检测算法

异常数据检测在基于无线传感器网络的环境监测系统中起着十分重要的作用,不仅有助于对传感器网络健康状况的监测,而且能够及时发现外部环境发生的突发事件(如森林火灾、环境污染等).通过对top-k算法的改进,提出了一种基于top-k(σ)的无线传感器网络异常数据检测算法.不同于top-k算法,该算法根据传感器节点采集到的数据分布规律,构造合适的数据网格,将多维数据归一化处理后置入相应的网络单元.然后通过增设距离阈值σ来重构PC列表(populated-cells list).除了对每个单元格及其邻域内的数据点个数分别进行排序,还计算不同数据子集之间的欧氏距离,并与阈值σ的比较,确认数据子集与正常值集合的偏离程度,从而提高检测结果的准确性.通过MATLAB仿真实验发现,距离阈值σ的选取对算法效果具有较大的影响,当σ∈[2.5,3]时,top-k(σ)算法在维持较高检测率的同时,最大程度地降低误报率.当取σ=3时,对于给定的5个数据集,top-k(σ)算法的检测率平均达到了93.70%,比top-k算法平均提高了4.94%,误报率则比top-k算法平均降低了4.48%.     

具有结果多样性的近似子图查询算法

针对大型图中的各种top-k近似子图查询算法存在的顶点重叠度高、无法满足多样性匹配结果输出等问题,提出具有最大顶点覆盖集的多样性近似子图查询算法.该算法建立基于近邻关系和基于区域划分的双重索引,并为相互关系紧密的同标号顶点建立簇索引.在图查询过程中,利用近邻特征为查询图中的每个顶点快速筛选出满足局部匹配要求的候选顶点集,并从不同区域找到多个满足要求的近似匹配子图,避免了查询结果间的高重复率.同时,基于区域和同标号近邻簇的划分,优先查找属于不同划分或不同簇顶点的匹配,减少了不同区域划分间的交互,提高了查询的效率.在大量数据集上的实验结果验证了该算法在查询效率和结果多样性等方面的有效性.     

传感器网络空间关键字近似Top-k查询算法

提出了一种基于节点剪枝的Top-k査询算法.定义集合支配区域与剪枝规则,根据用户查询位置的变动,按照给定的剪切规则,对传感器网络节点进行剪枝处理,将符合规则的节点预先筛除,运用统计学抽样理论,设计了空间关键字近似Top-k查询算法.在2个真实数据集上进行验证.实验结果表明,该算法能够满足传感器网络环境中用户的需求,并且相比于边界距离增量算法(IBD)与基于改进的MW-Voronoi区域的空间关键字查询算法(MSK-uvr),其网络通信开销较低.     

面向高速乱序流的top-k连续查询方法

提出一种面向高速乱序流的top-k连续查询方法.使用基于缓存的方法等待迟到元组,但不对缓冲区内数据进行排序,通过统计运行信息实现缓存时长自适应,然后使用改造的MinTopk算法计算当前窗口的top-k结果集.实验结果表明,该方法在高速乱序流上实现了高效的top-k查询,在保证用户允许的最小正确率的情况下计算出最小缓存时...     

基于覆盖码预排序的数据立方体部分和top-k查询算法

在决策支持系统中,排序查询是研究的热点问题。提出了一种在OLAP(数据仓库)数据立方体中对部分和查询结果进行排序的高效算法,该算法综合利用覆盖码和预排序,有效地解决了对部分和结果的top-k查询问题。实验结果表明无论数据在随机分布还是存在主导集情况下,该算法都能很好地改进查询的时间代价。     

基于改进E-Score语义及剪枝算法研究

E-Score查询算法返回元组期望最大的k个结果,常常不能适应更高级客户的查询需求,语义需要改进使得更加合理.本文把位置概率引入进E-score语义,定义了一个新的Topk查询语义——带有位置概率的期望得分排序(PPE-Score),并基于位置概率对算法进行修枝剪枝形成相应算法.最后用实验验证新剪枝算法的有效性.     

基于层次模型的kNN查询处理算法

针对当前基于二级网络模型的数据流k-最近邻(kNN)查询中网络流量大、查询结点负载重的问题,提出了一种新的网络模型,将二级网络模型扩展到更通用的层次网络模型。该模型改进了查询算法,在远程节点与查询节点间布置多个中间节点,以处理数据,降低网络数据传输量,减小查询结点的负载。理论分析和数值实验表明新算法能取得较好的结果。     

基于用户偏好的最优路径搜索

本文研究基于用户偏好的最优路径搜索,在预算约束下寻找一条满足用户偏好即关键字和权重偏好的最优路径.此研究问题是NP-hard.为了高效地解决这类查询问题,本文提出新的索引建立方法,在查询阶段利用索引结构过滤出候选节点集.另外,提出基于A*的路径搜索算法来做路径查询,并利用几个有效的剪枝策略加快算法的执行速度.在两个真实的签到数据集上的实验结果证明了本文提出方法的有效性.当预算时间设置为4～7h时,与已有最好的PACER算法相比,本文的路径搜索算法消耗的查询时间更短.     

基于标记的图数据关键词查询方法研究

图数据关键词查询技术在结构化数据、半结构化数据和非结构化数据等领域具有良好的应用前景。随着需要解决问题规模的不断扩大,寻找top-k结果所花费时间将会增多。针对该问题,提出了一种基于标记查询优化的方法。该方法首先引入路径索引,通过输入一组关键词遍历路径索引,找到与关键词相关的结构子图;然后基于结构子图,找出当前最优结果,对当前最优结果,选择需要处理的路径进行标记;并设置该路径为无穷大,实现对当前最优结果的屏蔽,再在此基础上查找次优结果,直到top-k结果查询完毕;最后,基于测试数据集,验证该方法的有效性。     

一种混合阈值剪枝的稀疏化训练图像识别算法

卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度.针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型.通过对缩放因子L1正则化,使重要性低的通道值接近0,进行稀疏化训练,再引入全局阈值和局部阈值剪枝掉接近于零的通道并防止模型向粗粒度方向压缩,并对其进行训练微调参数,得到了混合阈值剪枝的精简模型.最后为了验证本文方法有效性,在DOTA(a large-scale dataset for object detection in aerial images)数据集中进行测试,该算法在小幅度降低图像识别精度的前提下,成功地压缩模型90％大小,加快了53％的计算速度,取得了较好的效果.     

不确定时间序列数据库中概率K最近邻查找

为了对不确定时间序列上的概率K进行最近邻查找,该文从降维和索引剪枝两方面进行了研究。针对不确定时间序列的高维度性和不确定性两方面的复杂性,基于点对线性近似降维方法,提出了关于安全剪枝、最近邻概率计算以及最近邻概率上限计算的3个定理,用以提高查找效率。在此基础上,给出了不确定时间序列概率K最近邻查找算法,解决了高维度不确定时间序列查找中的维灾问题,具有较高的查找效率。实验结果验证了算法的有效性和效率。     

WEKA中的Id3决策树算法

ID3算法是决策树学习归纳和数据挖掘中的核心方法。本文对ID3算法及其在WEKA中的实现进行了阐述,给出了使用剪枝阈值对决策树进行先剪枝的方法,最后通过实例对该方法的有效性进行了验证。     

面向组近邻的Top-k空间偏好查询

空间偏好查询是当前空间查询研究中的一类热点问题,而现有的空间偏好查询不能有效支持面向组用户的位置服务应用.为此,提出一类新型空间偏好查询——面向组近邻的Top-k空间偏好查询(Topk spatial preference query for group nearest neighbor).该查询通过查找特征对象的λ子集组近邻最终为用户返回评分值最高的前k个λ子集.为了高效执行这一查询,给出了两种查询算法:TSPQ-G及TSPQ-G*.其中TSPQ-G*在TSPQ-G的基础上,通过空间剪枝及高效的特征对象索引树遍历策略大幅减少I/O代价,进而有效提高了该查询的执行效率.实验采用多个数据集验证了所提算法在不同参数设置下的有效性.     

一种迭代频偏估计算法

提出一种适于低信噪比条件下工作的数据辅助型(data-aided)频偏估计算法。计算接收信号自相关函数的辐角,基于最大似然策略合成频偏估计,并通过迭代消除估计模糊。仿真结果表明：迭代算法具有较大的频偏估计范围(估计范围达±40%符号速率),与M&M算法相比,迭代算法信噪比门限有接近3dB性能改善,其估计性能更接近FFT最大似然算法和克拉美-劳下界(CRLB),并且计算量有所降低;基于迭代算法的简化版本与迭代线性预测(ILP)算法相比信噪比门限更低,并且降低了计算复杂度。     

基于聚集块的多用户连续K最近邻多线程查询

当对城市道路网络中的对象进行查询时,已研究出连续的K近邻查询技术,但在一般情况下服务器会同时收到多个查询请求,为了提高查询效率,降低多查询代价,提出一种聚集块的共享查询算法并建立多用户连续查询处理框架,采用流水线处理策略,将查询分为查询预处理、查询执行及查询结果分发3个执行阶段,利用扩展树存储查询结果。实验结果表明,在目标点分布比较密集的情况下,本算法明显优于其它算法。     

基于时空相关的传感器网络汇聚查询算法

减少网络中的数据传输量是传感器网络节约能量、延长网络生命的重要方法.提出一种基于时空相关的传感器网络汇聚查询算法STCAQ.在STCAQ中,首先通过基于时间相关的预测算法对网络中节点采样数据进行汇聚;然后依据节点采样数据汇聚结果,通过基于空间相关判定算法查询空间相关区域信息.仿真结果表明,STCAQ在能量消耗、查询质量和网络数据量等方面优于ESA算法.     

采样过滤下的时空热点查询

目前较高效的时空热点查询算法是基于Spark分布式计算框架和Getis-Ord统计量的两阶段map-reduce算法。为了解决其在第一阶段map-reduce,遍历全部轨迹数据导致耗时严重及数据分布不均匀导致资源空闲的问题,本文提出一种对轨迹数据采样的方法S-RSampling(stratified-random sampling),通过分析轨迹数据的分布规律,确定采样规模,从而减轻数据分布不均的影响,大幅降低查询时间;为了解决在第二阶段map-reduce,计算大量无用立方单元格导致计算浪费的问题,本文提出一种阈值过滤方法TFiltering(threshold filtering),根据单元格属性值的分布,动态确定阈值T,将属性值top-T的立方单元格作为热点候选集,从而减少计算浪费。实验表明,本文所提出的优化方法在查询结果准确率不降低的情况下能大幅降低查询响应时间。     

基于小世界理论的工程信息网络检索的探究

在实际工程中查找信息时,索引是很重要的指向信息,便于快速有效地查找和定位所需资源的位置。通过在索引中进行检索,快速定位查找对象,筛选不满足条件的数据,减少需要精确计算的计算量,达到提高查询效率的效果。＂小世界网络＂是一种存在捷径的网络结构,真实世界中的许多网络属于＂小世界网络＂。利用小世界效应可以帮助我们通过寻找捷径来快速找到真正需要的信息。本文首先对工程信息中的网络信息检索算法进行了一定概括,同时对小世界的相似性方法进行了研究,最终将小世界的链接相似性引入排序算法对索引数据的排序提出了改进。经过优化的算法可以提高返回信息的质量,将最符合用户要求的页面和链接进行返回,从而提高搜索结果的准确性和快速性。     

基于嵌入式系统的多任务人脸属性估计算法

针对传统人脸属性估计算法算力大、推理速度慢、精度低,难以完成算法在移动或嵌入式设备上集成应用等问题,提出一种基于嵌入式系统的多任务人脸属性估计算法。首先,采用MobileFaceNet网络中的瓶颈结构融合跨阶段融合网络(cross stage partial network, CSPNet)和空间金字塔网络(spatial pyramid pooling network, SPPNet)设计CSPSPP＿bk结构作为人脸属性估计算法共享网络特征提取模块;然后,在局部属性中增加通道注意力机制,在较困难的全局属性中使用更深、性能更优的网络模型作为Teacher模型指导所设计的轻量级多任务属性网络进行知识蒸馏,采用逐层剪枝的方法对网络模型进行优化,优化后的模型量仅1.8 MB;最后,通过动态类别抑制损失函数进行损失度量,均衡样本数据分布。在公共数据集CelebA和Adience数据集上进行测试比较,性别和眼镜的平均准确率分别为98.89%、99.72%,标准差为3.01%时,年龄估计精度为60.21%,在RK3288开发板上的前传推理速度为138 fps。结果表明：所提方法可广泛应用于嵌入式...