基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于自训练的半监督SQL注入检测算法

针对基于监督学习的SQL注入检测方法在某些场景下不适用的问题,本文提出一种基于自训练的半监督SQL注入检测方法(self-training based semi-supervised SQL inj ection detection,S4ID).S4ID首先对SQL语句进行特征提取,包括基于语法树的模式提取和基于词袋模...     

基于对数行列式实现的矩阵补全算法

传统的基于低秩假设的矩阵补全模型常常对目标矩阵采用核范数的约束,由于核范数对秩函数的近似不够精确,基于核范数的低秩模型可能无法产生最优的效果.为此,采用对数行列式代替核范数,提出基于最小化矩阵对数行列式的矩阵补全模型.研究结果表明,基于最小化对数行列式实现的矩阵补全算法能够有效地恢复矩阵的低秩信息,能够有效地补全图像的...     

基于自监督学习方法的半监督视频目标分割研究

本文主要研究自监督学习方法在视频目标分割中的应用。首先通过挖掘大规模无标注视频数据中的时间-空间关系,让神经网络作为特征编码器学习视频帧之间的相似性和连续性;然后通过记忆力机制训练网络,使其对当前帧和多个参考帧之间的关系进行建模;利用特征编码器学习到的特征对视频帧中的分割目标进行重建,进行下游的视频目标分割任务;最后,利用在线自适应模块对视频分割结果的错误进行修正。实验结果表明,本文的自监督方法在视频分割任务上的表现可以更加接近有监督方法的分割结果,采用记忆力机制和在线自适应模块可以大大提高视频目标分割的准确性。另外本文探究了数据有效性,当采用少量数据进行网络的自监督训练时,模型仍能取得较好的效果,意味着这个任务本身不需要大规模数据集中富含的复杂语义信息进行建模。     

基于协作过滤的传感器数据补全方法

如何对缺失的传感器监测数据进行补全是物联网信息感知过程中的一个关键问题.针对这一问题,提出了一种基于协作过滤的传感器数据补全方法.该方法利用传感器之间的时空相关特性,考虑到同一区域的传感器或同一传感器的不同监测周期中相应的监测数据具有很大的相似性这一特点,通过对缺失数据的传感器进行分类,分别使用不同的相似评价方法选取相似传感器,以保证估计值的准确性.结果表明,该方法对环境变化幅度较大时段的缺失数据进行估值的效果要优于其他方法.     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像,在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务,该任务中所有的类别都是行人,不同行人之间的外观差异较小,难以辨别;此外由于拍摄条件的限制图像质量通常较差,因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战,设计了一种基于自监督学习的文本行人检索算法,以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合,对两种任务同时进行训练,共享模型参数．其中,自监督任务作为辅助任务,旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说,首先提取视觉和文本特征,并以图像修复作为自监督任务,旨在学习更丰富的语义信息,且对遮挡数据具有更好的鲁棒性;基于行人图像的特殊性,进一步设计了一种镜像翻转预测任务,通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息,以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性,将行人检索的Top-1准确率提升了2.77%,并且实验结果显示两种自监督任务存在一定的互补性...     

对称加权算法对数据矩阵补全的优化研究

数据分析中存在数据集矩阵缺失,可用数据矩阵补全缺失数据元素,高效的补全数据矩阵算法可从算法精度等方面优化提升.为此提出对称加权(SW)算法,首先,根据通用的矩阵补全模型,用正则化方法进行低秩矩阵分解补全;其次,对分解后的矩阵因子用共同的对称矩阵加权,得到新的矩阵补全模型和正则化加权函数;最后,结合块坐标下降和交替最小二乘法优化算法,迭代得到目标函数最优解,获得数据补全的最优补全矩阵.仿真结果表明,与APALM,IRSVF和IRNN算法相比,对称加权算法在数据矩阵补全的精度和算法收敛速度方面均有较好提升.     

基于特征融合的深度学习点云补全算法

由于激光雷达等三维扫描设备分辨率限制、目标间的相互遮挡以及目标表面材质透明等问题,采集到的三维点云数据往往是不完整的.近年来,以数据驱动为主的深度学习方法逐渐被用于解决点云补全问题,然而,现有的点云补全算法致力于补全出原始目标点云的整体拓扑结构而忽略了对于目标点云局部细节位置的恢复.针对这一问题,提出了一种基于特征融合...     

基于自步学习的自适应半监督聚类算法

在半监督聚类算法中,通常利用有标签样本的指导来提高数据的聚类效果,但不同样本对聚类结果的重要性并未充分考虑。为了解决这一问题,该文提出了一种基于自步学习的自适应半监督聚类算法(ASSCSPL)。首先,在模型中引入自适应损失函数,可以通过调节自适应损失参数提高模型的鲁棒性;其次,在模型中引入自步学习机制,用来刻画不同样本对聚类结果的不同重要程度;最后,在标签传播阶段,所得算法能够很好地利用已有的监督信息,为无标签数据赋予相应的标签权重。数据实验表明,与现有优秀算法比较,所提算法可以达到更好的聚类效果。此外,实验结果也表明,所提算法能够有效地降低噪声对模型聚类性能的影响。     

基于中心差分卷积的自监督学习方法研究

作为无监督学习的一个分支,自监督学习可以从大量无标签数据中学习到有用的特征,是近期一个热门的研究方向.基于前置任务和对比学习的自监督学习已经得到了大量的研究,但对于卷积操作的选择还没有得到足够的重视.将中心差分卷积神经网络引入自监督学习,探究了卷积操作对自监督学习性能的影响.实验结果显示,加入了中心差分卷积神经网络的Resnet18模型相比普通模型在下游分类任务上的性能提升了4.14%,在几乎未增加计算量的情况下,与Resnet50性能相当.     

Missing Data Imputation for Traffic Flow Based on Improved Local Least Squares

Complete and reliable field traffic data is vital for the planning, design, and operation of urban traffic management systems. However, traffic data is often very incomplete in many traffic information systems, which hinders effective use of the data. Methods are needed for imputing missing traffic data to minimize the effect of incomplete data on the utilization. This paper presents an improved Local Least Squares (LLS) approach to impute the incomplete data. The LLS is an improved version of the K Nearest Neighbor (KNN) method. First, the missing traffic data is replaced by a row average of the known values. Then, the vector angle and Euclidean distance are used to select the nearest neighbors. Finally, a regression step is used to get weights of the nearest neighbors and the imputation results. Traffic flow volume collected in Beijing was analyzed to compare this approach with the Bayesian Principle Component Analysis (BPCA) imputation approach. Tests show that this approach provides slightly better performance than BPCA imputation to impute missing traffic data.     

基于深度置信网络的车辆交通流预测

提出了一种新的基于深度置信网络的交通流预测方法,利用深度置信网络良好的训练和预测性能,能够很好地学习时序数据集的内部特征,从而准确地预测交通数据流.为了验证算法的有效性,在PeMS数据集上对算法进行了实验测试,并同其他相关预测和分析方法进行了比较,实验结果表明新算法具有较好的预测性能.     

基于多源数据的交叉口分流向交通需求预测

对交通流进行科学预判是实施精细化智能管控的基础,为了解决目前方法对于过饱和状态下需求预测精度较低的问题,利用交叉口地磁和上游路段微波数据,结合Markov转移矩阵及加权移动平均法对交叉口内分方向的流向比例依照时间序列进行动态预测,由上游路段的车辆通过率获取交叉口内的交通需求,进而构建交叉口分方向流量动态预测模型。最后通过实测数据对模型进行验证,结果显示总平均误差为13.46%,比使用传统预测模型的预测误差减少了4.13%,尤其是过饱和状态下的预测误差减少5.81%,有效提升了过饱和状态下的交通需求预测精度,这对于城市交叉口过饱和状态下的分流向交通组织及控制具有重要意义。     

随机试验设计中缺失值插补方法研究

随机化区组设计中经常会碰到缺失数据,处理此类缺失数据目前有4种方法：删除缺失数据法、均值插补法、公式插补法和Yate’s插补法。4种方法的优劣是值得研究的一个问题,拟用模拟研究的方法对此4种方法进行比较。首先随机产生一个4x5的随机区组设计,令缺失值的个数m=l,…,6;其次对每个n遍历所有缺失值位置可能的组合,在每一个缺失值位置的组合下,分别研究4种方法线性回归的标准误差、可决系数和复可决系数。最后模拟研究的结果证实Yate’s插补方法是这4种方法中表现最好的一个,实例研究的结果也证实了模拟研究的结论。     

基于半监督学习的多源异构数据治理

为实现不同数据管理系统之间的互通,提出一种基于半监督学习算法的多源异构数据治理框架,并由此设计、实现和测试了一套非结构化数据与结构化数据的自动化对齐方法。利用命名实体识别（NER）技术,将非结构化数据转化为结构化数据,再分别利用基于字符串相似度的方法和基于监督学习的方法,对结构化数据进行模式匹配;通过半监督学习方法,在结构化数据与数据库记录实体之间进行实体匹配与融合;利用自然语言处理（NLP）技术及深度学习方法,对融合后的数据集进行缺失值填补。结果表明：在论文数据集和视频元数据集上进行对齐处理后,两者的F1值分别达到89.70%及96.50%;在不同属性上进行缺失值填补后,整体填补准确率达到78%以上,大大优于基线方法的准确率。     

无信号环形交叉口机非冲突机器学习预测方法

为高效精确地预测无信号环形交叉口机动车与非机动车的交通冲突,提出了基于遗传算法优化的BP神经网络(GA-BP)和支持向量回归(SVR)的组合预测模型(SVR-GA-BP)。通过无人机采集混合交通流高清视频,利用视频识别软件Tracker提取机非交通冲突轨迹数据,以距离碰撞时间(Time to Collision, TTC)为判别指标,确定机非冲突严重程度。基于偏相关性分析确定交通量、平均速度、大车比例等为机非交通冲突的显著影响因素,选取均方根误差(RMSE)、平均绝对误差(MAE)等五种评价指标对SVR模型、BP神经网络、SVR-GA-BP模型的预测值进行精度分析。结果表明,组合模型在一般冲突预测中精度为97.1%,相比SVR和BP神经网络分别提高6.9%和2.5%,在严重冲突预测中精度为96.1%,相比SVR和BP神经网络分别提高7.3%和5.1%。可见SVR-GA-BP组合模型能够有效预测无信号环形交叉口的机非冲突且精度最高,可为同类型交叉口的安全评价提供借鉴。     

多层感知器自监督在线学习非结构化道路识别

针对智能车辆非结构化道路识别中存在的环境自适应性和在线学习算法实时性问题,提出了一种结合多线程技术和多层感知器自监督在线学习技术的道路识别算法. 通过识别结果在线自动更新训练集,并利用评估函数判断是否触发重训分类器,确保当前分类器对行驶道路环境的有效识别. 同时,算法中道路图像采集、分类器训练、训练集更新、分类器识别等计算操作分别在各自线程中实现,利用信号量对数据流进行同步互斥,优化计算资源,充分利用了多层感知器分类计算快的特点,并克服其训练耗时问题. 实际道路检测实验结果表明,算法具有较好的自适应性及实时性,能够满足智能车辆非结构化道路导航需求.      

Spark框架下交通流数据高效处理方法及其应用

设计并实现基于Spark的交通流数据处理与预测分析应用框架, 可以完成交通流数据的高效清洗、统计、存储和查询。利用基于多阶空间权重矩阵的STARIMA模型进行交通流预测分析, 可以验证数据处理效率及对预测应用的支撑作用。对比实验结果表明: 1) 交通流数据处理框架运行效率高, 适用于复杂的数据清洗和挖掘算法, 为预测模型建立数据支撑; 2) 交通流预测模型对空间权重矩阵进行了多阶优化, 兼顾高效性和准确性, 预测分析结果可以为交通诱导提供参考。     

一种基于局部加权学习的自适应交通流预测机制

结合交通流的特征, 提出了一种自适应的交通流预测机制。首先根据训练数据特点, 按三相交通流理论对交通状态进行分类, 从每个分类对应的训练数据集内提取相应的最佳邻域。在基于局部线性回归模型的预测中, 根据邻域中数据点所处状态分别选择相应局部模型进行预测, 最终预测结果为各局部模型预测值的加权平均。根 据各模型误差确定当前数据所处状态, 增量加入训练数据集。基于真实交通数据的实验证实该方法能够有效提高预测的准确率。     

考虑网联汽车信息安全的交通流短时预测方法

针对智能网联汽车因网络攻击或干扰造成的信息安全及数据缺失问题,提出一种基于数据补全的交通流状态短时预测方法。首先,基于边缘计算任务卸载模型,对智能网联汽车V2X通信过程的异常数据动态辨识;其次,提出一种具有数据补全机制的图嵌入长短期神经网络模型,实现网联汽车缺失数据补全;再次,通过补全后的完整数据集构建神经网络模型,完成短时交通流状态预测;最后,选取北京市典型路段进行实验验证。结果表明,该模型应用后交通流状态短时预测效果显著提高,与其他方法相比预测误差最大降低87.4%,预测效果与实际交通流状态相比准确率达到95％,为智能网联环境下车辆信息安全与交通资源动态优化提供理论支持和技术方案。