深度神经网络内部迁移的信息几何度量分析

使用深度神经网络处理计算机视觉问题时,在新任务数据量较少情况下,往往会采用已在大数据集上训练好的模型权值作为新任务的初始权值进行训练,这种训练方式最终得到的模型泛化能力更好.对此现象,传统解释大多只是基于直觉分析而缺少合理的数学推导.本文将深度神经网络这种网络结构不变下层间的学习转为深度神经网络内部的迁移能力,并将学习过程变化形式化到数学表达式.考虑数据集对训练过程带来的影响,利用信息几何分析方法,确定不同数据集流形之上的度量和联络,实现不同数据集之间的嵌入映射,同时将参数空间的变化也放入流形空间,探究其对学习过程的共同影响,最终实现对这种内部迁移现象的数学解释.经过分析和实验验证可得内部迁移过程其实是一种能使网络可以在更广空间进行最优搜索的变化,有利于模型可以在学习过程中获得相对的更优解.     

基于全局注意力引导的肺结节分割方法

肺结节的精确分割能有效地辅助医生的治疗诊断工作,但由于不同患者所呈现的肺结节病灶形式多种多样,基于传统专家系统和统计学习的方法难以获得准确的肺结节分割结果。针对这种情况,提出一种由全局注意力引导的注意力机制,达到了从一张完整的胸部影像切片中自动定位并分割出肺结节的效果。该方法首先对目标区域进行肺实质分割,再利用区域建议网络（region proposal network,RPN）进一步缩小感兴趣区域,并生成注意力权重图,最后使用融合了残差网络（residual network,ResNet）与卷积长短期记忆网络（convolutional long short-term memory,ConvLSTM）的结构结合注意力权重进行肺结节分割。将所提方法在肺图像数据库联盟（lung image database consortium,LIDC-IDRI）数据集上进行了全面的评估,结果表明,本文方法分割结果的平均dice得分（标准差）为89.97%（8.9%）,具有出色的分割性能,精度相较其他方法取得一定提升。进一步在相同数据集上将所提方法的肺结节分割结果与4位放射科医生的手工标注结果进行了比较,结果表明本文方法的分割结果与医生们的标注结果的一致性达到了85.81%,相较于医生们手工标注之间的一致性高出了3.39%。     

川南深层各向异性页岩井壁失稳力学机理

川南页岩埋藏深、岩性复杂、质地硬脆、层理发育、地应力复杂,水平井钻井井壁失稳事故时常发生,严重阻碍了深层页岩气高效开发进程。为此,以川南深层龙马溪页岩为对象,实验测定了页岩各向异性弹性和强度参数,通过成像测井分析了层理产状,通过室内实验和测井资料确定了地应力大小和方位,建立了各向异性页岩井壁坍塌压力模型,分析了不同地层条件的坍塌压力,并以川南深层页岩气井为例进行了验证。结果表明,页岩基质黏聚力和内摩擦角为13.00 MPa、39.50°,层理黏聚力和内摩擦角为11.10 MPa、28.50°,层理倾角5°～15°、倾向NE110°～NE120°;水平最大主应力114.69～117.23 MPa、水平最小主应力93.79～94.57 MPa、垂向地应力108.42～112.81 MPa;综合考虑弹性和强度各向异性计算的坍塌压力最高,强度各向异性的影响明显大于弹性各向异性;沿水平最大主应力钻进的水平井稳定性最好,其次为直井和小角度定向井,沿水平最小主应力方向钻进水平井时稳定性最差; L20X井实钻情况与预测结果基本一致,证实了模型的准确性。     

深井含硫工况C110套管环境开裂及表面防护技术

深井地质复杂、井眼轨迹变化大且面临高温高压含硫等苛刻工况,套管面临磨损、腐蚀损伤、断裂失效等各类风险,针对套管C110服役于含硫腐蚀环境且承受高水平拉应力时频繁发生环境敏感断裂的问题,采用慢应变速率拉伸实验（SSRT）法,研究了表面电镀Ni-W合金的套管C110在某气田模拟地层水中的环境开裂行为,分析研究表面电镀Ni-W合金对套管C110抵抗环境敏感开裂的防护效果。结果表明,套管C110在该模拟地层水中环境开裂敏感性较高,即使腐蚀速率较低仍存在环境开裂风险,且在慢应变速率拉应力作用下呈现典型脆性断裂特征;表面电镀Ni-W合金后套管C110的抗拉强度和屈服强度分别提高2.3%和6.3%;当表面电镀Ni-W合金并经过热处理后,套管C110在模拟地层水中的抗拉强度、屈服强度、断后延伸率和应变能均明显提高、环境开裂敏感性降低,断裂方式转变为韧-脆混合型断裂,说明在套管C110表面电镀Ni-W合金并进行热处理的方式,能够有效抑制套管C110发生腐蚀、开裂及破坏的风险,显著提升其抵抗环境开裂的能力及其在深井复杂含硫工况中的适用性。     

特征房价空间分析及连续型深度置信网络预测

以上海为研究区域,利用数据爬虫手段搜集、整理上海市二手房交易数据,通过空间自相关分析二手房交易价格的空间效应,并使用连续型深度置信网络对二手房交易价格进行分析预测.研究结果表明:上海市二手房交易价格在空间上具有显著的自相关效应,在上海市核心区域存在高-高集聚效应,在周边区域呈现低-低集聚效应,而在核心与周边交界地区存在高-低集聚和低-高集聚的负向空间效应;特征变量对价格偏高区域的二手房交易价格解释力度较小;除中心区域外,基于连续型深度置信网络的特征变量对上海市二手房交易价格预测能力良好.     

精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

基于机器学习的深基坑三维土层重建

在深基坑施工过程中,需要通过少量钻孔数据来进行土层三维模型重建,以获取土质信息分布.提出一种基于机器学习的土层重建方法,首先设计土层生成算法来进行土层训练数据集的数据增强.然后根据钻孔信息数据结构设计了预测模型特征编码方法,作为预测模型的标准输入,通过搭建卷积神经网络模型,对土层结构进行特征提取,形成土层预测模型.随后,利用预测模型对待预测地块中的离散格点进行土层属性预测,获得土层体数据.最后,对土层体数据利用Marching Cubes算法生成封闭等值面,形成土层实体块,从而实现了对三维土层的重建.本模型能够适应不同层数、不同类型的地层,具备了实际工程应用的初步条件.     

基于VPU加速的嵌入式实时人脸检测系统设计与实现

智能设备高昂的设计费用和庞大的计算资源需求成为在便携式、低功耗设备上实现深度学习算法及其应用的主要障碍.文中基于树莓派平台,借助Intel的视频处理器(V PU)低功耗加速模块,设计并实现了基于残差特征提取模块CNN模型的实时人脸检测系统.结果表明,相较于单纯使用树莓派CPU进行计算,文中方法在视频流中检测人脸和人脸关键点提取的实验中分别实现了18.62倍和17.46倍的加速,在便携式设备中实现快速、实时、在线的人脸检测和特征点提取成为现实,同时为使用便携式、低功耗设备运行深度学习算法提供了一种确实可行的方案.     

深空探测的现状、展望与建议

 回顾了人类深空探测的历史,探讨了人类深空探测的科学动机、技术挑战和可持续发展的路径,并对中国未来深空探测的发展提出了相关建议。     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.