基于预训练语言表示模型的汉语韵律结构预测

韵律结构预测作为语音合成系统中的一个关键步骤,其结果直接影响合成语音的自然度和可懂度.本文提出了一种基于预训练语言表示模型的韵律结构预测方法,以字为建模单位,在预训练语言模型的基础上对每个韵律层级设置了独立的输出层,利用韵律标注数据对预训练模型进行微调.另外在此基础上额外增加了分词任务,通过多任务学习的方法对各韵律层级间的关系及韵律与词间的关系建模,实现对输入文本各级韵律边界的同时预测.实验首先证明了多输出结构设置的合理性及使用预训练模型的有效性,并验证了分词任务的加入可以进一步提升模型性能;将最优的结果与设置的两个基线模型相比,在韵律词和韵律短语预测的F1值上与条件随机场模型相比分别有2.48%和4.50%的绝对提升,而与双向长短时记忆网络相比分别有6.2%和5.4%的绝对提升;最后实验表明该方法可以在保证预测性能的同时减少对训练数据量的需求.     

蛋白质氨基酸的组合问题

试题Ｂ要求参赛者建立数学模型，测定已给定分子量的某一蛋白质的氨基酸组成．本文建模的思想是：充分利用所给１８种氨基酸分子量间的内部联系，建立变量个数最少的实用模型，以缩短运算时间和缩小解的范围．本文建立在最一般模型及其简化基础上的Ａ、Ｂ两个实用模型达到了上述要求，取得了满意的效果，且对实验室有无微机均能适用．文章最后对模型的优缺点进行了分析，提出了改进方向．     

基于多语言预训练语言模型的译文质量估计方法

传统的机器翻译评价方法往往需要参考译文,利用机器双语互译评估(BLEU)值等方法比较翻译结果与参考译文之间的相似性.但是,在现实生活中却很难为每一句待翻译的句子找到参考答案,因此,不使用参考译文的译文质量估计(quality estimation,QE)方法有着更加广泛的应用场景.在该文中,基于多语言的预训练语言模型,利用联合编码的策略完成句子级的QE任务,在WMT 2018的QE任务德语→英语语言方向上的评测数据集上取得了最佳的实验结果.同时,对比了微调过程中不同网络结构对于该任务的影响,并探究了平行语料联合编码二次预训练在句子级跨语言任务上的效果.     

氨基酸突变的统计理论

假定氨基酸突变频率(观察值)决定于两个因子,一是由碱基突变决定的突变系数,二是决定突变型在选择压力下存活水平的相似因子,由此假定出发计算了380对氨基酸的突变频率,在一定的允许误差范围内和观察值符合对数可达95％以上。     

氨基酸的突变及其对蛋白质二级结构的影响

本文对43种蛋白质的肽链进行了统计分析,计算了相邻三个氨基酸的构象参数R_α、R_β、R_c,并将其分类;在此基础上提出了氨基酸的突变对蛋白质二级结构影响的规律。研究了细胞色素C可变氨基酸的突变(不同种属之间)、血红蛋白(人)的异常。给出了所有可能的中间氨基酸可突变为半胱氨酸的氨基酸三联体。     

面向同源蛋白质探测的一种新型混合深度学习模型

根据蛋白质氨基酸链探测其同源蛋白质,进而预测蛋白质的功能,是生物信息学研究领域的一个重要挑战,也是众多生物医学研究领域的基础研究内容,有着重要的科研价值和广泛的应用需求。其研究难点在于:(1)如何学习对同源蛋白质预测有效、有用的蛋白质特征信息;(2)如何更好地运用蛋白质特征信息,实现同源蛋白质的探测与识别。为了解决同源蛋白质探测与识别研究中的关键难点,本文提出一种基于混合深度学习架构的同源蛋白质探测与识别模型(HDLM-PHP)。通过采用统一的"管道式"深度学习架构,将蛋白质特征学习和探测识别统一为一个整体,提高同源蛋白质探测与识别的效能。采用多组并行的深度卷积神经网络,学习蛋白质的各种属性信息,以期获得丰富的待检测蛋白质和靶蛋白质的高级相关性特征,并通过全连接方式使用多层RBM结构融合和精炼这些相关性特征为全局相关性特征。通过统一的深度网络连接方式,以探测和识别任务为导向,学习到对于同源蛋白质预测最有效、最全面的蛋白质特征信息。在标准数据集SCOPe上,对所提模型进行性能与效率评测,结果表明:本文提出的模型能有效地学习到符合任务导向的蛋白质特征数据,提升同源蛋白质探测与识别的准确度和召回率,优于现有的模型和算法。     

由氨基酸序列预测蛋白质二级结构的进一步研究

本文在工作[1][2]的基础上进一步研究了蛋白质二级结构的经验预测,着重讨论了如何制定预测规则的问题,并将预测工作计算机化.在蛋白质资料库中随机选取了21个蛋白质(3296残基)进行预测,正确率对α螺旋和β折迭分别为84.4%和81.9%.     

预训练语言模型的可解释性研究进展

基于深度神经网络的大型预训练语言模型在众多自然语言处理任务上都取得了巨大的成功,如文本分类、阅读理解、机器翻译等,目前已经广泛应用于工业界。然而,这些模型的可解释性普遍较差,即难以理解为何特定的模型结构和预训练方式如此有效,亦无法解释模型做出决策的内在机制,这给人工智能模型的通用化带来不确定性和不可控性。因此,设计合理的方法来解释模型至关重要,它不仅有助于分析模型的行为,也可以指导研究者更好地改进模型。本文介绍近年来有关大型预训练语言模型可解释性的研究现状,对相关文献进行综述,并分析现有方法的不足和未来可能的发展方向。     

基于跨语种预训练语言模型XLM-R的神经机器翻译方法

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量.提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示.在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平...     

基于预训练语言模型特征扩展的科研论文推荐

针对科研学术论文推荐数据稀疏的问题,提出一种基于预训练语言模型特征扩展的科研论文推荐方法.通过预训练语言模型学习论文摘要的特征表示,将其作为辅助信息构建推荐模型,再将辅助特征和用户-论文标签矩阵共同输入半自编码机模型进行训练,最终实现推荐任务.实验结果表明,相比自编码机等神经网络方法,该方法推荐的科研论文更为准确,可提高科研工作效率.     

基于化学位移和伪氨基酸组分信息预测抗凋亡蛋白质与促凋亡蛋白质

凋亡蛋白质是一种有着特殊功能的蛋白质,在生物体的生长和维持体内平衡中扮演着重要的角色.在细胞凋亡过程中抗与促凋亡蛋白质对细胞凋亡的调控起着不同的作用.如果抗凋亡蛋白质或者促凋亡蛋白质失活,将导致癌症和其它疾病的发生,所以对抗凋亡蛋白质和促凋亡蛋白质的识别,将有助于更好的了解凋亡蛋白的致病机理.建立一个新的凋亡蛋白质数据集,并基于化学位移信息和伪氨基酸组分信息采用支持向量机(SVM)方法对新的数据集进行了预测.融合后的特征信息用Jackknife检验预测成功率达到77.01%,从预测结果可以看出提取有效的特征信息是提高预测成功率的重要因素.     

蛋白质分子的定点突变和化学修饰

回顾蛋白质工程研究及应用技术、手段和方法,分析定点突变及化学修饰在改造蛋白质分子结构与功能方面的异同。定点突变技术可以随心所欲地在已知DNA序列中取代、插入或缺失一定长度的核苷酸片段。该方法与使用化学因素导致突变的方法相比,具有突变率高、简单易行、重复性好的特点。     

氨基酸编码方式对SVM预测蛋白质二级结构的影响

为研究蛋白质二级结构预测时采用哪种氨基酸编码方式具有更好的预测精度,使用正交编码、5位编码、Codon编码（2种）和Profile编码等5种不同的氨基酸编码方式,并用SVM（支持向量机）进行蛋白质二级结构预测.实验结果表明,经过多重序列比对,包含更多生物进化信息的Profile编码方式的预测精度比起其他4种编码方式高出19.4%～23.9%.     

基于双层生物模块网络的致病基因预测

为提高致病基因预测的准确性,提出了一种结合多种生物组合数据的生物分子网络构建方法。利用蛋白质相互作用网络、蛋白质复合物和代谢通路构建双层生物模块网络,并设计一种新型异构图神经网络。实验结果表明,与基于蛋白质相互作用组学数据构建生物分子网络的经典方法相比,本方法的AUC和F1分数提高了约1.5%和3.7%。     

面向HDF5格式预训练模型的模糊测试方法

使用模糊测试对HDF5文件格式的相关程序与工具集进行漏洞检测,并对模糊测试在HDF5输入上的性能优化方案进行研究。通过轻量级文件结构分析,精简模糊测试的确定性变异阶段,从而将模糊测试的注意力集中在更有价值的区域,减少无意义的变异与执行尝试次数;提出一系列HDF5文件格式敏感的变异策略,在模糊测试的随机变异阶段,使变异生成的输入更可能被程序的解析逻辑所接受,从而探索更深层代码。相比传统模糊测试框架,实现的原型框架HDFL可以保证极小的覆盖率与崩溃数量损耗,提高模糊测试的效率。     

基于双层生物分子网络的致病基因预测

基于“致病基因邻居倾向于引起相似疾病”和“必需基因和致病基因关联较少”的假设,融合蛋白质相互作用和代谢通路,构建双层生物分子网络,提出一种基于双层生物分子网络双流量网络传播的致病基因排序方法。为致病基因和必需基因分配正流量和负流量,挖掘与已知致病基因相似的潜在致病基因。实验结果表明,本方法与基于经典假设的单层网络方法相比,在富集分数1和富集分数2分别提高11.66和13.66。     

蛋白质中氨基酸间的相关性研究

计算和分析了4种类型(α型、β型、α／β型和α β型)共计204个蛋白质中的20种氨基酸间的相关性．研究发现，氨基酸之间的相关性可分为强正相关、强负相关、弱相关和不相关．作为蛋白质的建筑构件，20种氨基酸在不同类型的蛋白质中的相关性反映了这些建筑构件间的匹配规则，代表了蛋白质的结构特征．本文分析了部分氨基酸间的相关性与蛋白质结构间的联系，从物理和化学性质上解释了氨基酸相关性的起源。     

基于监督学习的蛋白质络合物抽取方法

蛋白质关系网络中存在着大量的蛋白质络合物,络合物对有利于深入探索生物细胞的组织原理和功能有着重要意义.然而传统的络合物发现算法多基于网络的拓扑结构,没有融合络合物本身的结构信息.针对这个问题,提出了监督学习的络合物发现方法,将多种能够标示络合物的信息作为特征,使用监督学习方法对样本集进行训练,将训练得到的模型应用在络合物发现算法中.实验证明,该方法能有效地从蛋白质关系网络中发现络合物.     

氨基酸突变分数的精细分裂及其实验检验问题

本文讨论了氨基酸突变分数的精细分裂,考虑了两种形式的颠换突变和氨基酸分类造成的精细结构,将计算的突变分数值和氨基酸主度资料及信息值资料进行比较,得到了基本一致的结果。