旋转偏差对立体显示舒适度影响的ERP研究

影响立体显示舒适度的因素有多种,其中左右视图的不协调是主要原因之一,旋转偏差是影响协调性的重要因素之一.本文基于事件相关电位技术,采用S1~S2实验范式,研究了旋转偏差对立体显示舒适度的影响.利用左右视图的旋转偏差在大脑皮层会诱发出N270成分,结合行为数据以及ERP波形进行分析得出,旋转偏差超过0.72°时,被试感觉能够察觉到明显的不协调,随着偏差等级增大,被试不协调感逐渐增强.行为数据的统计分析结果与ERP信号结果一致.因此立体视图左右图像的旋转偏差应该控制在0.72°以内.     

基于立体图像显著区域的舒适亮度定量研究

研究立体图像观看舒适度的影响因素已成为立体显示领域的关键技术之一.本文首次结合视觉注意机制定量研究了亮度因素对立体图像观看舒适度的影响.首先,采用视差图和平面图像显著图相结合的方法获得显著立体图像;然后采用改进的逐级逼近法进行主观实验,得到显著立体图像的舒适亮度匹配图和差异图.本文所得亮度范围能够更好地反映立体图像的舒适度,为立体图像舒适度评价及立体显示技术的改进提供了新的依据.此外,论文采用眼动仪验证了所得立体图像显著区域的正确性.     

尺寸偏差对立体观看舒适度影响的ERP研究

左、右眼看到的图像不匹配是影响3D观看舒适度的重要原因.已有的客观图像舒适度评价方法不具备普适性和鲁棒性,事件相关电位(ERP)具有时间分辨率高、客观性强的特点,能够客观实时地反映人类心理活动,可作为新的图像舒适度研究的客观方法.利用ERP技术研究了左、右眼图像大小尺寸不一致对立体图像观看舒适度造成的影响.让被试者观看尺寸不一致的左、右眼立体图像,并同时用脑电设备采集从枕叶和后顶叶发出的信号,发现当右眼图像水平和垂直方向视角同时增大1%,及以上时,会对3D图像的观看舒适度造成影响.进一步的ERP客观实验结果验证了主观评价的结论:水平和垂直方向视角同时增大1%,是左、右眼图像尺寸偏差的阈值,超过这个阈值就会造成立体图像观看的不舒适.     

视频会议系统中基于图像拼合的中间视合成

中间视合成是实现立体交互式显示的关键技术,即在观察者改变观看位置时,可以通过系统合成的虚拟视点获得环视的效果.该文提出一种基于图像拼合的中间视合成算法,利用图像插值和变形技术,生成虚拟视点图像.首先对立体图像对进行亮度均匀化处理,以消除左右图像间的平均亮度差异;然后根据左右视所含信息的不对称性,利用视差信息判断可靠区域,生成过渡中间视;最后采用图像拼合变形的方法进行中间视插值合成.实验表明,生成的虚拟中间视图像效果良好,基于对象的处理方式使得本算法具有速度上的优势,可用于头肩型视频会议场景的立体交互显示.     

生产性噪声对工作人员脑认知影响的ERP分析

为工业企业听力保护计划制定、人机工程学设计及劳动者烦恼度缓解等提供客观的生理依据,分析了生产性噪声对工作人员脑认知的影响.采集自愿者在90 d B(A)的稳态机械性噪声刺激以及安静状态下的脑电信号,建立事件相关脑电位ERP中N1(N100)波的幅值脑地形图及P2(P200)波幅值的脑地形图,对ERP信号进行时频分析.结果表明噪声刺激与静音状态相比,ERP在N1波的幅值明显减少,而在P2波幅值变化呈相反趋势明显增加.噪声刺激下被试额区导联的N1幅值显著减小,P2幅值显著增加,表明高声压级生产性噪声导致被试烦躁、注意力分散,并干扰了认知能力.     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于视觉感知的立体图像零水印算法研究

人眼感知立体图像,主要是对图像内容和深度信息的感知,而视点之间的差异是形成立体图像深度感知的一个重要原因。本文基于人眼视觉感知特性,提出了视点零水印和视差零水印算法,视点零水印将视点图像的亮度Y分量分块做DCT变换,并根据DCT域中低频系数的大小关系来构造视点零水印,提高了水印的鲁棒性和不可见性;视差零水印通过求取左右视图的视差值,搜索得到左右视图的匹配区域,根据匹配区域内左右图像块的DC系数大小关系来构造视差零水印。统计两类零水印恢复率,达到对立体图像质量和立体感知质量客观评价的目的。实验结果表明,该水印算法具有良好的鲁棒性和不可见性,通过水印恢复率客观评价图像质量和立体感知质量,与人眼主观评价具有一致性。     

基于双目融合网络的立体图像质量评价

立体图像质量评价为3D技术的发展与应用提供了技术支撑.如何根据立体图像特点,构建更加符合立体视觉认知机制的立体图像质量评价模型,已成为该领域的关键问题之一.现有的立体图像质量评价方法要么先分别处理左右视图,然后结合左右视图质量得到立体图像质量分数;要么先对左右视图进行融合得到融合视图,然后评价平面的融合视图得到立体图像质量分数.事实上,大脑对立体视觉信号的处理是一个长期的复杂融合与处理的过程,并最终在视觉皮层完成对视觉信号的认知与判断.受大脑立体视觉认知机制的启发,本文提出一种基于双目融合网络的立体图像质量评价模型,实现了双目信息的多次融合与处理,模拟了大脑对双目信息进行处理和判决的视觉传导通路.所提出的双目融合网络包含左视图通道、右视图通道和融合通道,模拟立体视觉信息在视觉通路中的逐层并行处理过程;左右视图通道在网络中多次交互,模拟视觉通路中双目信息的多次融合与处理;网络末端的3个全连接层,模拟视觉信息经过视觉通路处理后复杂的质量判断过程.本文实验在两个公开立体图像库LIVE3D Phase Ⅰ和LIVE 3D Phase Ⅱ上进行,实验结果表明,该方法在对称与非对称失真立体图像上均能取得更好的结果,且较其他方法具有更强的普适性.     

一种基于三阶亮度校正的平面视频转立体视频快速算法

本文提出了一种新的平面视频转立体视频的快速算法.这种算法能够实时的将平面视频转换成立体视频,并能在三维显示设备上呈现出逼真的立体效果.首先将原始平面视频中的图像按照高斯分布进行立体变换,然后将视频中的图像序列生成加权平均亮度图,并将亮度分为3个等级,分别对这3个等级区域中的图像进行立体校正,最终得到完整的立体视频.我们的方法替代了传统方法中,生成深度图像的步骤,从而大大的提升了运算的速度,能够在原始平面视频的实时播放过程中,直接输出带有立体效果的画面.     

眨眼特征与颜色不对称立体图像视觉舒适度的相关性分析

提出了一种从眼动生理指标角度客观评价立体内容视觉舒适度的模型.选用颜色色调不对称的立体图像进行了视觉舒适度的主观评价实验,并开展了记录眨眼数据的眼球追踪实验,通过对主客实验数据的分析,验证了在色调不对称立体图像的刺激下视觉舒适度与眨眼次数呈高度负相关关系,而与平均眨眼持续时间没有明显的相关关系;得到了基于眨眼次数的立体图像视觉舒适度客观评价模型.分析模型可知：观看颜色色调不对称立体图像10 s内平均眨眼次数超过9.99次时,开始感觉到视觉不舒适.研究结果可为立体显示的视觉适度评价提供借鉴.     

视觉注意的早期等级效应与晚期半球偏侧化效应--来自ERP的电生理学证据

采用"提示-目标"的视觉实验范式,以文字提示不同等级的搜索范围,通过事件相关电位(ERP)技术研究16名青年被试的视觉注意脑机制.结果观察到随着提示等级的减小,反应时加快,早期ERP成分P1与N1波幅增大.这一结果不但提供了支持聚光灯理论的电生理学证据,而且阐明了聚光灯效应发生在信息加工早期;发现了P2效应的两个分离,一是P1效应与P2效应的分离, 表示注意的提示范围扩大, 需要额外的运算资源; 二是P2效应的左右半球分离, 提示左半球是与提示范围直接有关的注意加工的优势所在.     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

视觉搜索中空间注意范围等级调节的早期ERP效应

对18名被试青年进行事件相关电位(ERP)实验以研究视觉空间注意范围等级效应的脑机制.采用"提示-靶"实验范式,刺激材料使用等密度排列的字母组成的3个同心圆,以去除字母排列密度不均匀对注意范围等级效应的影响.记录反应时和ERP数据.结果表明:随着提示范围的增大,识别靶刺激的反应时延长,靶刺激引起的P1,N1波幅减小.行为数据和ERP波幅的等级式变化提示视觉注意范围的等级效应,并发现该等级效应受到了来自任务难度、刺激物数量及分布等多种因素的影响.     

立体视频延时的事件相关电位研究

立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时,影响观看质量.本文提出一种利用主观评价与客观脑电(electroencephalogram,EEG)相结合的方式分别对深度和水平延时运动立体视频刺激进行分析,并对二者的差异性进行比较.共有十名被试参加实验,被试观看随机呈现的不同延时等级包括无延时、延时1帧、延时2帧和延时3帧的立体视频片段,并对是否感知到延时效应做出主观判断,同时记录被试的EEG信号.从EEG信号中提取出事件相关电位(event related potentials,ERPs)并结合主观行为数据进行分析与比较.实验结果表明,为保证观看质量,深度运动立体视频中所能存在的最大延时帧数为1帧,水平运动中则不能存在延时效应.与水平延时运动相比,深度延时运动刺激产生的P300成分幅值变化范围更大,表明在深度延时运动刺激下大脑的活跃程度更高.同时,相同延时帧数的深度运动与水平运动刺激所产生的P300成分中,深度延时运动的潜伏期更长,这表明处理深度延时运动刺激所需时间更长.     

基于脑电的水平运动立体影像视疲劳评估

针对长时间观看水平运动立体视频所引发的视觉疲劳这一现象,采用单一运动形式的水平立体视频刺激为实验素材,通过主观实验对比分析被试观看同样的3D素材与2D素材后所引起疲劳感受的差异性.分别采集被试疲劳前后的EEG(electroencephalography)信号与ERP(event related potentials)信号,提取疲劳前后30个电极EEG信号的θ、?、β3个波段小波系数的均值及其比值、、θ/(?+β)、(?+θ)/β、θ/β、(?+θ)/(?+β)作为时频域特征,提取样本熵作为脑电信号的非线性特征.将时频域特征与非线性特征作为联合特征进行立体视觉疲劳评估,避免了单一特征的局限性,多角度分析了视觉疲劳前后特征参数变化.实验结果表明,3D与2D视频均能够使被试在一定程度上产生视觉疲劳现象,且3D显示比传统2D显示对人的影响更大.对比分析ERP信号发现疲劳状态下的N200和P300成分幅值明显下降,而潜伏期略有增加.通过可分性指数FCSI(Fisher’s class separability index)算法、支持向量机SVM(support vector machines)、基于互信息的特征选择算法等筛选出评估水平运动视觉疲劳的最佳特征参数为CP3电极上的?/θ.同时,结合脑区分析发现,与水平运动立体视频关系最为密切的两个脑区可能为顶区与前额区.     

前额叶Gamma频段tACS对工作记忆影响的研究

基于行为学与脑电(Electroencephalogram EEG) 特征评估40Hz经颅交流电刺激（transcranial alternating current stimulation, tACS）对工作记忆的影响,进一步探究40Hz经颅交流电刺激对脑电与认知功能的调节作用。选取34名被试,并在伪刺激或真刺激后参与工作记忆任务,同时采集被试的行为学数据与脑电数据,最终通过MATLAB与SPSS-26.0进行数据分析,得出40Hz经颅交流电刺激对脑电、行为学数据指标的影响。通过数据分析发现事件相关电位中P3a成分与P3b成分的幅值在不同刺激、不同任务量下表现出显著性,且被试在真刺激后顶叶区的theta-gamma相位幅值耦合显著提升。因此可以得出40Hz经颅交流电刺激使得事件相关电位(Event-related potential, ERP)相关成分幅值有显著变化,且能显著提升被试脑内的相位幅值耦合程度,从而提升了专注度,进而显著提升工作记忆的能力,使得相关行为学数据显著提高。     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

多视成像实时校正与立体显示

手工摆放的平行摄像机阵列所拍摄的多视点立体图像往往会产生垂直视差. 为了消除多视点图像的垂直视差, 必须进行多视点图像的校正. 提出一种简单有效的多视图校正算法, 并基于该算法构建了自由立体显示系统. 应用多线程进行摄像机软同步以及后续的实时优化. 当摄像机图像的上传分辨率为1 280×960、上传速率为25 帧/s、目标3D 显示器的分辨率为1 920×1 080 时, 采用双线性插值, 可达到20 帧/s 左右的显示速率; 若采用复杂度更低的插值方法, 则可达到20 帧/s以上的显示速率. 该算法实现了8路摄像机实时校正和立体显示的3D电视系统.     

齐次线性方程组约束的三维重建方法

将摄像机模型表示成齐次线性方程组,多幅图像上的对应点进行融合,得到多视图几何的三维空间点坐标的计算公式,使视差信息得以充分体现.实验结果表明,多目立体视觉具有定向正负性,并且与人类双目立体视觉原理相一致.     

基于网格与韦泊统计特性的立体图像质量评价

针对立体图像失真会改变图像对比度、边缘和结构等信息的特性,提出一种无参考立体图像质量评价方法.首先,利用韦泊分布的尺度参数β和形状参数η分别描述合成图、左右视图及视差图的梯度图像特征;然后用网格强度及其规律性分别描述合成图、左右视图及视差图的网格图像特征;最后,将所得特征输入支持向量回归(SVR)网络中训练模型,获得特征到质量分数之间映射关系的模型,从而预测立体图像质量.通过利用LIVE-3D I数据库和LIVE-3DⅡ数据库进行性能测试,证明了本文提出的方法与人眼视觉特性具有很高的一致性,且性能优于目前主流的图像质量评价算法.