基于深度学习的手术场景运动感知

基于术中影像的运动感知是计算机辅助手术系统开发的重要研究内容,能够为运动补偿、软组织形变分析等应用提供有价值的信息,从而提高手术效率并增强手术安全。然而,手术影像中运动器械的遮挡降低了对局部区域估计的准确性。为解决这一难题,提出一种基于光流网络和解耦表示的运动感知方法,并结合自监督学习范式优化模型。制作了神经外科手术数据集,在PyTorch深度学习框架下对模型进行训练和验证。实验结果表明：该运动估计方法在复杂手术场景中具有稳定性强、准确度高的优点,在计算机辅助手术中具有较高的应用价值。     

基于双注意力引导特征级联的显微影像深度估计方法

深度估计在医学显微影像中具有重要应用价值,可以弥补外科医生在手术过程中由于观察目镜感官受限而难以获得精确深度信息的不足。针对手术场景动态多变、软组织和手术器械尺度微小等原因导致深度估计精度不高的问题,提出了一种改进稠密回归中跨层级特征级联的深度估计方法。通过利用多层次特征聚合模块,将编码器中的上下文信息传递到解码器中,同时基于通道选择和分支优化的双重注意力特征融合机制来优化解码的精度。为了获得密集的深度真值,提出了一种迭代式配准策略,结合自动化的机械臂扫描实现由粗到精优化多视角点云配准,并从模拟场景中重建高精度深度数据。实验结果表明,本文提出的深度估计方法实现了0.00151的均方误差值（root mean squared error, RMSE）和0.03039的尺度不变对数误差值（scale-invariant log, SILog）,超越了以往最先进的方法,并对细小手术器械的尖端产生了更精准的深度估计。     

基于数据融合的不平衡连续手术动作分割识别

为解决样本分布不均衡的连续动作序列分割识别精度不高的问题,提出一种基于深度学习的新型连续动作分割与识别模型,该模型能够从多维时间序列中提取更丰富全面的动作特征。使用基于双向长短时记忆网络(bidirectional long short-term memory networks, Bi-LSTM)的特征提取单元提取数据特征,利用基于注意力机制的特征融合模块融合多种模态的特征,并利用全连接层构建的解码器完成最终分类。实验中使用多种传感器采集了眼科手术中连续环形撕囊操作的连续动作多模态数据对算法进行验证实验。实验结果显示,与使用长短时记忆网络(LSTM)和门控循环单元(gated recurrent unit, GRU)的数据层融合算法以及4种特征层融合策略相比,所提出的模型具有更好的性能。对于数据量最小的动作类别,该算法的识别精度提高了14%以上,全局F₁分数提升8%以上,整体识别准确度达到90.72%。这些结果表明,该模型能够有效解决样本分布不均衡的连续动作序列分割识别精度问题,并为多模态连续动作分割与样本不均衡问题的解决提供了新的思路和方法。