多源图像融合关键技术及应用研究

人类生存环境的日趋复杂,使得无论性能多么优越的单一传感器都无法获得对目标精确全面的描述,多源图像融合是指根据各波段传感器获得信息的互补性和冗余性,综合多个传感器的信息,获取对同一目标或场景全面而详尽的表述,从而得出更为准确、可靠的结论。本文首先分析了多源图像融合主要研究内容,进而探讨了发展现状和存在的问题,在此基础上,笔者总结了图像融合中常用的传感器和应用方向,相信对从事相关研究的同行能有所裨益。     

基于RGB融合与主分量分析法融合比较

随着遥感技术的发展,获取遥感数据的手段越来越丰富,各种不同的传感器所获取的影像数据类型也各式各样。不同的遥感数据具有不同的空间分辨率、波谱分辨率和时相分辨率,如果能将它们各自的优势综合起来,可以弥补单一图像上信息的不足,因此遥感图像信息融合则成     

浅谈多传感器信息融合技术

在未来战争中,制信息权的争夺将在很大程度上取决和依赖于各类传感器设备。战场指挥官和战斗人员所获得的信息将不再来自于单个传感器,而是来源于多个传感器。因此,多传感器信息融合技术迅速发展起来。本文主要阐述了多传感器信息融合技术的概念、基本原理和功能模型。     

基于时空融合的交通场景中运动行人检测算法

将视频监控技术应用于交通信息获取与处理,解决行人安全问题,已成为智能交通系统中的一项关键技术。为精准地提取交通场景语义信息,提出了融合时域和空域信息的行人检测算法。通过相邻多帧时域变化和Canny边缘检测算法得到初始检测掩模图像,解决差值局部化和噪声问题;提取空域信息时,引入二次重构和内外标记技术对梯度图像进行修正和分水岭变换,得到空域掩模图像,有效地提高空域分割精度,消除过分割现象;最后将两者结果进行融合和形态学修正,提取出交通场景图像中的运动行人。以北京南站为例进行实验分析,结果表明,该方法能快速准确地检测到较完整的目标信息,在动态场景的行人检测取得了较好的效果。     

基于小波分析法的传感器信息融合的运动损伤检测方法

传统方法针对多组传感器路径中的检测点,在很大程度上会出现若干存在差异的损伤发生概率,导致运动损伤检测不准确。为此,提出一种传感器信息融合的运动损伤检测方法。利用多帧帧间差的累积消除空洞效应,在此基础之上,融合传感器确定出准确的人体运动区域,以此对不同场景人体运动进行监测;采用小波分析法对监测结果的非平稳信号进行分析,得到运动损伤特征。将传感器信息融合和小波神经网络结合在一起,获取所有传感器的小波能量特征向量,按照最大概率密度函数值和特征向量获取融合运动损伤检测结果及损伤种类。实验结果表明,所提方法检测结果准确,实用性强。     

目标跟踪中的信息融合技术

在目标跟踪中，单一传感器检测到被测对象的某些信息，而信息融合可融合多传感器信息，获取对对象较全面的认识。比较全面地阐述了目标跟踪中信息融合的结构和方法。分析了各跟踪方法的特点，提出了信息融合发展中的一些值得关注的问题。     

基于差异演化的多聚焦图像融合算法

多聚焦图像融合就是综合和处理多个源图像的信息,来获取对同一场景或物体的更为准确、更为全面、更为可靠的图像描述.对于可见光成像系统而言,特别是含有长焦距的光学镜头,对景深有一定的限制.因此,将场景中的所有物体都成像清晰是很难的,这个问题采用多聚焦图像融合技术可以很好解决.通过提出一种基于差异演化的多聚焦图像融合算法,首先将源图像进行分块,然后用清晰度评价函数比较对应图像块的清晰度,选择清晰度高的作为清晰图像块,最终重构融合图像.该方法的积极意义在于,优化后的图像块比没被优化的使用效果更佳.实验结果表明,从定量和视觉两方面评价,都明显优于遗传算法和其他传统的图像融合方法.     

一种微透镜光场相机的子孔径图像提取方法

多视点图像在深度计算、3D视频合成、立体匹配等技术中有广泛的应用价值。传统相机在拍摄真实场景时往往不能获取场景多个视点的信息,而新型的微透镜光场相机和相机阵列却可以得到场景更多的信息,例如场景的多视点信息,场景的深度信息等。但是由于微透镜光场相机的软件保密和源程序不开放等问题,造成研究人员无法自主提取其多视点(子孔径)图像。对此,提出了一种由微透镜光场相机提取子孔径图像的方法。首先,进行微透镜中心像素标定,然后考虑光场原图像的有效像素区域,将各中心像素的周围像素点按次序提取并重组,从而得到子孔径图像。实验表明,所提取的多视点图像具有微小的视差,体现了所提光场相机子孔径提取方法的有效性。实现了微透镜光场相机的子孔径图像提取,将为后续恢复场景深度、重建场景三维图等研究提供有效数据。     

双目立体视觉系统的研究

随着视觉神经学、计算机技术、图像处理技术以及人工智能技术等的发展,使得机器人模仿人的视觉系统成为可能。为了重建三维场景,研究了基于双目摄像机的双目立体视觉系统。融合人的眼睛处理视觉景物的方式,获取三维场景的深度信息。通过双目摄像头获取了被测物体不同位置的两幅图像,通过采集卡将图像信息传输给计算机,计算机通过图像预处理、选取颜色空间、图像分割、特征提取、立体匹配、三维重建等图像处理,真实再现了三维场景的几何信息。     

基于区域能量的多聚焦图像融合算法

针对同一场景两幅严格配准的多聚焦图像的融合问题,设计了一种基于区域能量的多聚集图像融合算法。该算法利用金字塔变换得到图像的多分辨序列,采用基于区域能量的融合方法,在图像的相应层次序列的各级金字塔图像上进行融合,以获取最终的融合图像。从目视效果来看,采用本文算法进行图像融合,能够将两幅多聚焦图像融合成一幅比较清晰的单一聚焦图像。实验结果表明,本文算法与同类其它算法相比较,熵提高了0.01%～4.4%,交叉熵降低了52.93%～95.77%,互信息提高了3.13%～26.55%。     

基于方差分析特征检测的多聚焦图像融合方法

由于光学CCD传感器深度特性的限制,不可能得到一幅场景的全聚焦图像.为了克服这一缺陷,很多学者在这方面作出了研究,到目前为止,一种较好的方法是将多幅多聚焦图像通过某种融合策略汇总成为一幅图像,该幅图像充分表现场景各个位置的全聚焦信息.提出一种基于方差分析方法的多聚焦图像融合算法,对每一幅聚焦图像,求取每一个像素点的方差分析对比度函数.融合过程是根据这一对比度系数确定融合策略,得出融合结果图像.实验结果表明,该算法显示了融合性能的有效性.     

多传感器数据融合研究

数据融合技术又称多传感器数据融合或分布式传感,即对多类多源和多平台传感器数据进行组合,提供有关空间信息综合态势的一种数据处理技术。数据融合可分为：信号级数据融合、像素级数据融合、特征级数据融合和符号级数据融合。本文讨论了红外图像、可见光图像、多谱图像、雷达图像等的数据融合问题以及各级数据融合的方法。     

基于红外和可见光图像融合的夜间环境图像增强

图像增强技术可以有效提高图像的整体或局部特性增加图像有用信息,改善图像的视觉效果.夜间图像增强是图像处理领域中的关键技术,使用图像增强可以提高夜间环境图像的信息量.对于单一传感器采集的夜间可见光图像,传统算法通过提高图像的饱和度和对比度进行图像增强,处理后的夜间图像易出现边缘锐化或图像伪影的现象.相比于单一传感器的夜间图像增强,红外和可见光图像融合技术可以大幅度的提高图像信息有效率.利用红外和可见光图像的成像特点将两者进行融合,有效地提高夜间复杂环境下图像的信息量,从而达到夜间图像增强的效果.实验证明使用红外和可见光图像融合的夜间环境图像增强方法优于传统算法,有效抑制边缘锐化、图像伪影和图像过度增强的问题,同时提高了夜间环境下图像的主客观质量.     

多传感器遥感图像配准方法的研究

根据多传感器遥感图像的成像特点,需要对获得的遥感图像进行配准融合后才能获得所需要的信息.傅立叶变换应用在多传感器遥感图像配准中可以达到预期的配准效果,能够分析出所需要的数据信息.     

图像匹配特征的一种融合表示

提出图像匹配特征的一种信息融合表示方法,对由不同传感器所获得的对同一场景进行描述的灰度信息、边缘轮廓特征信息和图像熵信息,进行综合分析,利用不同有效信息之间的互补性,导出更为丰富的图像特征信息,进行图像匹配．实验表明该方法能够提高图像匹配的正确率．     

基于多RGBD摄像机的动态场景实时三维重建系统

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统. RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图. 多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集. 为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合. 融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云. 实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.      

基于非下采样Contourlet变换耦合近似度规则的多聚焦图像融合算法

当前多聚焦图像融合算法主要通过单一的比值取大法来完成高频系数的融合,忽略了不同高频系数间的近似度,导致融合图像存在模糊效应与块效应等不足,采用非下采样Contourlet变换耦合近似度规则对多聚焦图像进行融合,来改善以上不足。利用非下采样Contourlet变换对图像进行多尺度、多方向的分解,获取图像的高、低频分解系数。利用图像的区域能量对低频系数的信息量进行度量,构造低频系数融合函数,用于低频系数融合。利用图像的平均梯度差值对不同高频系数的差异度进行度量,建立近似度规则,根据不同高频系数的近似度采用不同的融合方法获取融合高频系数。将融合后系数通过非下采样Contourlet逆变换获取最后融合图像。仿真表明,所提算法与当前多聚焦图像融合方法相比,融合的图像具有较好的质量。     

基于多传感器融合的磨削砂轮钝化的智能监测

利用多传感器信息融合技术 ,通过模糊分类的方法对不同的磨削条件进行模糊化处理 ,构建了砂轮钝化监测多传感器融合系统结构 ;应用BP神经网络将磨削过程中声发射、磨削力和功率传感器信号合理融合 ,提出了自适应变学习率策略 ,将其神经网络输出的信号特征值作为表征砂轮钝化状态识别的判据 ,进行了砂轮钝化监测实验·结果表明 ,使用多传感器信息融合方法比使用单一传感器方法识别率高 ,监测效果好 ,并可实现智能监控和及时修整砂轮     

图像增强的拉普拉斯多尺度医学图像融合算法

针对不同临床诊断的需求产生了多种类型的医学图像,如:核磁共振成像(MRI),正电子发射断层扫描图像(PET),单光子发射计算机断层扫描技术(SPECT).单一功能的医学成像技术往往不能更好地诊断出病人的病情,利用多模态医学图像融合技术获得的图像具有较强的解剖学意义,与原始单扫描图像相比具有较高的光谱信息.首先,将基于像素级的图像增强技术与拉普拉斯金字塔分解方案相结合,使分解的残差子带图像(RSI)具有更清晰的图像纹理特征,与此同时保持基底子带图像(BSI)更平滑.然后,对RSI图像采用基于兴趣信息的图像融合规则获取高频系数融合图像;对BSI图像采用局部能量最大值方案的融合规则获取较平滑的金字塔顶层融合图像.最后,利用拉普拉斯金字塔逆运算重建融合图像.实验结果表明融合图像保留了图像边缘信息的同时增强了图像细节信息,具有更好的视觉效果,客观评价指标QMI,QIFC,QVIF,QME,QSD,QUQI,QSSIM也取得了较大的提升.     

基于无字典模型的红外与可见光图像融合分类

针对传统图像分类识别方法采用单一传感器获得图像存在的局限和不足,提出了一种基于红外和可见光融合的分类算法。首先分别对红外图像和可见光图像提取密集型尺度不变特征变换（D-SIFT）,然后采用无字典模型（CLM）变换,并利用空间金字塔匹配（SPM）进行精细划分,最后用混合核支持向量机（SVM-CK）方式将红外和可见光在特征级融合并分类。在VAIS和RGB-NIR两个数据库上对该方法进行验证,融合后分类精度分别比单一图像源均有较大提高;与BoVW方法比较,精度分别提高了4.7%和12.1%。证明多数据源融合的方法综合了红外和可见光各自成像的优势,使获得的特征信息更完善,分类效果显著高于单一数据源的分类结果。