基于RoBERTa和多头注意力的简历命名实体识别方法

针对传统简历实体识别存在一词多义和训练时间长的问题，提出了一种新的简历命名实体识别模型。通过RoBERTa预训练模型获取具有上下文关系的字向量，结合BiGRU和多头注意力机制(Multi-head Attention, MHA)层提取全局信息和局部相关性信息，采用CRF层修正解码确定最终标签，同时裁剪RoBERTa预训练模型。实验表明，该模型在中文电子简历数据集取得95.97%的F₁值，高于其他主流模型，且相较于未剪枝的模型提升0.43%,减少1/5训练时间。     

基于多头卷积和差分自注意力的小样本故障诊断方法

轴承是工业设备中使用最广泛的旋转部件之一，如果轴承在故障状况下运行较长时间，将会造成巨大的经济损失并威胁人身安全，因此，对轴承故障诊断进行研究具有十分重要的意义。基于深度学习的故障诊断技术目前日趋成熟，但在小样本情况下存在过拟合、效果不稳定、准确率不高等问题。为了解决这类问题，文中提出了一种融合多头卷积（Multi-Head Convolution,MC）的数据嵌入新算法和差分自注意力（Differential Self-Attention,DSA）机制的Transformer变种模型MDT(Multi-Head Convolution and Differential Self-Attention Transformer)，以实现端到端的小样本故障诊断。MC算法对样本进行多路径一维卷积，由多通道输出将样本从一维扩展到二维，通过多个卷积核尺寸提取出原样本中各个频域的丰富故障信息。相较于Transformer中原有的点积自注意力机制，DSA机制通过差分为每个特征求得对应的注意力权重向量，从而可从样本中提取出更为深层次的故障特征。MDT继承了Transformer对于处理序列数据的强大能力...     

斜交板拱空间受力特性参数敏感性分析

为研究不同结构参数下斜交板拱的受力特性,建立不同斜交角度、矢跨比的空间斜交板拱有限元模型,对其结构响应进行对比分析.结果表明:随着斜交角度的增大,拱脚反力极不均匀,板拱的扭转和翘曲效应越来越明显;矢跨比变化时,斜度对斜板拱的受力特性影响规律相同,但结构空间受力特性的强度明显不同.     

钢管混凝土抛物线空腹拱平面内轴压稳定性能研究

采取理论推导和数值模拟相结合的方式,对钢管混凝土抛物线空腹拱的平面内稳定性能进行深入研究。首先,使用有限元软件建立钢管混凝土抛物线圆管拱模型,与实验进行对比,证明建模方法的正确性;然后,推导出钢管混凝土抛物线空腹拱的换算长细比,研究空腹拱的位移发展趋势、对轴力发展趋势和弯矩发展趋势探讨变化情况;最后,根据有限元计算结果,使用考虑矢跨比的稳定系数修正公式,发现修正公式与有限元结果吻合度较好,能够用于指导工程设计。     

基于改进YOLOv5的鱼群小目标检测优化算法

随着深度学习技术的发展，水下图像检测近年来受到广泛的关注，为了克服在复杂水下环境下传统小鱼群的误检、漏检和识别准确率低等问题，提出一种改进YOLOv5的目标检测方法(INV-YOLOv5)。该方法包括将YOLOv5m中的Focus模块替换为卷积模块，提高网络精度；在主干网络(Backbone)中添加多头自注意力机制，增大网络特征提取视野；最后，在网络中引入了内卷算子和加权的特征融合，降低网络的参数量，提高检测精度。在实验阶段，使用Labeled Fishes in the Wild数据集和WildFish数据集验证，该方法的平均精度(mAP)分别为81.7%和83.6%,与YOLOv5m网络相比分别提升了6%和14.5%,不仅拥有较高的识别率并且更加轻量化，而且模型大小与YOLOv5m网络相比减少了6 M(Mega)左右，验证了所提出的改进方法具有较好的效果。     

面向强化当前兴趣的图神经网络推荐算法研究

在基于会话的推荐中，与传统序列建模相比，将会话序列建模为图结构在该领域表现得更为出色。但是，现有的研究方法仅利用图结构来挖掘项目之间转换特性，以此捕获用户当前兴趣的能力有限。本文提出一种面向强化当前兴趣的图神经网络推荐算法，通过引入位置嵌入，并与图神经网络相结合，从而互补顺序感知模型和图形感知模型的优势。会话序列被建模为图结构，并取原始序列的最后一次点击，通过多头注意力机制计算其对图节点信息的注意力权重，以更加准确地获取用户当前兴趣的表示。同时，在2个真实的数据集上进行验证实验，结果表明本文提出的方法实现了所有方法的最佳性能，特别是在Diginetica数据集上，所有评价指标都提升了7%以上，MRR@10指标甚至提升了9.52%,证明本文所提方法对基于会话推荐的正确性和有效性。