融合视觉特征和语义关系特征的视觉故事生成方法

现有视觉故事生成方法没有考虑不同图像之间高层视觉特征和语义关系特征的深层关联、忽视对图像序列主题的挖掘。提出一种既考虑了整个图像序列的主题又考虑不同图像之间视觉特征和语义关系特征相关性的融合视觉特征和语义关系特征的视觉故事生成方法。该方法利用自编码器挖掘图像序列的主题特征,通过主题特征总结由图像中实体推理出的语义关系特征,然后利用相互注意力融合高层视觉特征和语义关系特征。实验表明,该方法可以生成更具一致性和表现力的故事,并在机器评价指标上取得了比现有方法更好的结果。     

多媒体课件的视觉传播效果评价系统设计

随着信息技术的不断发展,多媒体技术在教育教学中的地位逐渐提升。为了使多媒体技术更好地为教学服务,需要应用多媒体课件视觉传播效果评价系统对其使用效果进行评价,但此系统由于评价计算能力较差,造成了评价响应时间较长的问题。因而,设计新型多媒体课件视觉传播效果评价系统。系统硬件优化过程主要分为3部分,通过对中央控制芯片、系统硬件串口以及网络接口提升系统的硬件性能。同时,设定新型视觉传播效果评价指标体系,使用聚类分析技术验证指标构建合理性。计算指标信息熵,构建特征判断矩阵,完成评价过程。将硬件与软件相结合,至此,多媒体课件视觉传播效果评价系统设计完成。构建系统测试环节,通过对比可知,此评价系统优于传统评价系统。     

基于辅助相机的多目视觉线结构光测量系统全局标定方法研究

为解决现有的多目视觉线结构光测量系统在大视场测量时,相机之间无公共视场,导致标定工具要求高、全局标定过程复杂等问题,本文提出了一种基于辅助相机的多目视觉线结构光测量系统全局标定方法.首先,将辅助相机作为中介,它与线结构光传感器的相机有1/2左右的视场重叠,构成了双目子系统,通过拍摄标定板不同姿态的图像来建立辅助相机和相邻两个线结构光传感器的空间几何关系.然后基于此通过坐标转换求解出相邻两个无公共视场线结构光传感器的位置关系,最后再逐步换算求解出局部坐标系向全局坐标系统一的变换矩阵,完成全局标定过程.此方法对标定工具要求低,不需要借助高精度测量设备及复杂靶标,只需简易的棋盘格靶标即可完成多目视觉线结构光测量系统的全局标定,标定过程简单,并且可达到较高的标定精度.测量试验表明,该方法的全局标定误差是0.067 mm,有效提高了测量精度,为后续大构件的机器人“测量-加工”一体化作业提供精度保障.     

基于机器视觉的人防门智能打磨系统

针对人工识别易出错、清理效率低、打磨环境恶劣等难题,基于机器视觉原理结合双机械臂研制了一种人防门智能打磨系统,其中视觉系统主要由1台视觉控制器VC3300和2台500万像素相机构成。通过视觉系统识别工件的顶点坐标,建立待打磨坐标系与顶点坐标系的映射关系,解决了塞焊孔位置及埋弧焊位置难以有效识别、数据难以高效协同、高精度打磨难以实现的难题。实验结果表明：此视觉系统能够有效保证较高的定位准确率和精度,整体工序相较于人工提速33.3%,打磨后焊点的平均高度0.115mm,满足实际工业生产需求,具有较好的实用价值。     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度估计效果,改善了轮廓细节。     

增强现实电子沙盘中的大范围注册技术

针对基于特殊标志进行三维注册的增强现实电子沙盘在使用过程中由于使用者的大范围移动产生的三维注册问题,提出多尺寸标志综合定位的方法,该方法通过对特殊标志的设计实现大范围三维注册,不增加标志识别算法复杂度和任何硬件成本.介绍了多尺寸标志的尺寸范围计算方法和标志排布规律并给出相应的设计实例和实验结果.     

图像鲁棒哈希认证方案

针对图像的鲁棒认证,提出了一种分级视觉哈希认证方案.该方案利用抖动量化的方法提取图像的小波频域特征矩阵,将不同频域特征进行区分作为具有分级性能的认证哈希特征.对特征矩阵进行二值化运算,并采用分块计算数据统计量的方法压缩数据,生成分级认证哈希码.哈希由图像的鲁棒和脆弱特征共同生成,可同时实现对恶意攻击敏感和常规处理鲁棒.通过实验证明了分级视觉哈希方案在鲁棒认证中的有效性.     

车载无线自组网络连通性分析

在智能交通系统中,车辆上常常安装无线adhoc节点,车辆间通过Adhoc方式进行点对点通信,针对这种车载无线自组网络在实际道路上的网络拓扑特点,抽象出合理的网络模型,利用渗流理论讨论该网络的连通性问题.首先证明了1维动态无线自组网络的"无渗流"特点,并通过仿真实验探讨实际交通网络中车载无线ad hoe节点的合理传输半径,提出通过合理部署静态节点的方法提高1维动态网络的连通性.针对2维车载无线自组网络的交通特性,提出适合车辆交通网的无线节点连通性策略-一基于定点覆盖的策略,从理论上给出了2维网络被定点覆盖的条件,之后通过仿真实验分析2维车载无线自组网在真实道路系统上的连通特点,并针对定点--五角场中心进行定点覆盖实验.     

车载火炮系统动力学仿真

主要对履带车辆在粗糙地面行驶时车载火炮系统的振动问题进行了动力学建模与仿真,主要有:通过基于三角函数相位的随机抽样法建立双侧不平地面模型、建立三维车体、双侧任意车轮、任意位置座椅在内的坦克底盘的振动模型、车体与火炮的相互作用模型。本文的分析方法将履带车辆的振动对火炮运动的影响体现出来,更加全面和客观的反映了履带车辆行进过程中火炮的运动机理。通过对不同参数的模拟结果进行分析,能够定量的得到各参数变化对车载火炮系统在行进间振动与射击的影响程度,这对于车载火炮系统的设计与优化有着积极的作用     

基于分级变换的自适应立体对应算法

通过分级变换将图像从灰度空间转换到新的等级空间,然后构造相应的匹配代价函数计算两个图像点之间的最大相似度,从而找出对应点和偏移值。分级变换可以有效的解决在立体对应中经常遇到的图像噪声、失真及左右图像的亮度差异等问题。大多数的自适应立体对应算法是以偏移量和灰度值两个自变量来构造代价函数,而构造合适的代价函数是一个困难的问题。本文中提出自适应窗选择算法只与灰度值有关。首先通过边缘检测提取出灰度边缘信息。本算法仅根据灰度边缘信息就可以进行自适应窗的选择。自适应选择图像窗的过程与偏移值无关,从而降低了构造代价函数的难度。实验结果说明本算法能够生成准确度较高的深度图,是一种较好的局部立体对应算法。