基于自监督对比学习的病人相似性度量研究

有效利用电子病历中的医疗实体提高病人相似性度量的精准性能够更好地为个性化医疗提供帮助。本文从电子病历中构建病人的多视图进行病人相似性度量研究,以自监督的方式学习病人不同视图间的结构信息及语义信息,并以此建立一个基于自监督对比学习的病人相似性框架SCO4PS。通过视图内和视图间的对比进行跨视图交互,有效学习病人节点的特征表示。采用MIMIC-Ⅲ数据集进行实验,证明了所提出的病人相似性框架的有效性。     

基于深度学习的短时交通流量预测

针对交通流数据的时间相关性和非线性等特点,现有预测方法未能充分获取交通流的本质特征,提出了一种基于深度学习的短时交通流量预测方法。该方法结合长短时记忆神经网络(LSTM)和支持向量机回归(SVR)作为预测模型,利用长短时记忆神经网络模型进行获取特征,用获取的特征训练支持向量回归进行交通流量的预测,比较了与其它模型的预测效果,真实数据集的结果表明,该模型有较高的预测精度。     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于循环神经网络和深度学习的股票预测方法

本文提出一种基于多路循环神经网络与深度学习的股票预测方法。针对股票的涨跌预测问题,使用分布式向量表示方法提取出股票相关的新闻文本特征,同时考虑到股票相关信息的时序性以及新闻影响的持续性特质,使用多路循环神经网络模型对所提取的特征与交易信息进行协同训练,从而获得历史信息的低维向量表示。最后将多个循环神经网络的输出进行拼接,利用深度神经网络共同对股票的涨跌进行分类预测。本文使用上证A股的价格与新闻数据进行实验,实验结果表明,本文所提出的方法在股票预测任务上具有明显的优越性。     

基于深度学习和多特征融合的中文电子病历实体识别研究

电子病历实体识别是医疗领域人工智能和医疗信息服务中非常关键的基础任务.为了更充分地挖掘电子病历中的实体语义知识以提升中文医疗实体识别效果,提出融入外部语义特征的中文电子病历实体识别模型.该模型首先利用语言模型word2vec将大规模的未标记文本生成具有语义特征的字符级向量,接着通过医疗语义资源的整合以及实体边界特征分析构建了医疗实体及特征库,将其与字符级向量相拼接以更好地挖掘序列信息,最后采用改进的Voting算法将深度学习结果与条件随机场(Conditional Random Fields,CRF)的结果加以整合来纠正标签偏置.实验表明,融入外部语义特征的改进模型的F值达到94. 06%,较CRF高出1. 55%.此外,还给出了模型最佳效果的各项参数.     

支持向量机在混凝土强度预测中的应用研究

支持向量机是基于统计学习理论框架下的一种新的通用机器学习方法.文中提出了基于支持向量机的混凝土强度预测方法,并在MATLAB中编制了相应的支持向量机程序,建立了相应的混凝土强度预测模型.以实例数据为学习样本和测试样本讨论了基于支持向量机的混凝土强度预测方法及可行性.研究表明支持向量机可以较好地表达混凝土强度与其影响因素之间的非线性映射关系.用支持向量机来预测混凝土强度是可行的,它为预测混凝土强度提供了一种新的方法.     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

基于多头注意力机制的磷酸化位点预测模型

计算预测蛋白质磷酸化位点的方法常用于位点识别的初筛阶段。为了提升位点初筛的准确率,本文提出一个深度学习模型MAPhos。该模型首先运用氨基酸向量与位置向量的和表示每一个氨基酸残基;随后使用双向GRU循环神经网络捕获各氨基酸残基的特征;接着引入多头注意力机制计算各注意力头的子上下文向量,并将它们连接起来构成肽段的上下文向量;最后通过一个全连接神经网络进行非线性变换和结果预测。真实数据集上的实验结果表明,MAPhos模型预测磷酸化位点在AUC值、灵敏度、正确率、精度和F₁分数统计度量上胜过基于特征提取的模型和基于卷积神经网络的模型,同时与基于卷积神经网络的模型相比具有更好的可解释性,这证明了MAPhos模型更加适用于磷酸化位点识别任务的初筛阶段。     

电子病历的检索和结果多样化算法研究

为使用户在电子病历中的检索更贴近用户意图,提出用图结构来表示电子病历数据的研究方法。根据电子病历所具有的实体和属性联系与图的拓扑结构类似的特性,首先将电子病历数据和检索图结构化;将EMRSearch算法与EMR-Tree索引结合,并引入新的Upper bound模型进行裁剪;然后进行匹配,最后将匹配得到的结果集通过Sort Diversity算法进行多样性重排序。实验结果表明,该方法不仅可以提高用户检索效率,还可以提高用户搜索满意度。     

基于特征项聚合的古典诗歌分类模型

为提高计算机对古典诗歌自动分类的准确性,提出一种基于特征项聚合的分类方法.首先从文本中提取特征项并用向量表示,向量的每一分量表示该特征项在不同类别中的比重;然后通过聚类算法把相似的特征项聚合为一组,从而形成特征项聚合的诗歌模型;最后利用分类器对诗歌进行分类.《全唐诗》语料库的实验结果表明,利用该模型及算法可明显提高诗歌分类的准确率.     

基于图神经网络特征交叉的协同过滤算法

学习用户和项目有效的向量表示是推荐系统的核心目标,现有的推荐模型大多通过深度神经网络或专门设计的特征交叉,来学习用户-项目间的特征交叉生成用户(项目)向量表示,但并未将用户(项目)特征间的交叉信息编码到嵌入向量中充分利用特征交叉信息,且多个特征交叉信息对于生成最终的用户(项目)向量表示的影响不同.基于此,构建两个图神经网络模块,学习用户(项目)特征间的交叉信息、用户-项目之间的特征交叉信息,并通过计算注意力分数对特征交叉信息进行加权,得到用户(项目)的特征信息;然后通过门控循环神经网络(GRU)聚合原始的特征信息和网络层学习到的特征交叉信息,得到最终的用户(项目)向量表达;最后通过用户向量与项目向量的元素积得到最终的推荐结果.在数据集MovieLens 1M、Book-Crossing和Taobao上验证了模型的有效性.     

基于自然语言处理的中文产科电子病历研究

电子病历中蕴含着大量的医疗知识和患者的健康信息,而产科电子病历的结构化及信息抽取对临床决策支持及提高人口的生育健康水平具有重要意义.首先对中文产科电子病历的结构特点及内容进行了分析,并采用基于规则的方法对电子病历数据进行了清洗和结构化;其次采用最大熵(ME)模型及基于规则方法按治疗类型对电子病历进行分类,分类的F值达到88.16%;最后,为了进一步利用电子病历进行信息抽取和知识挖掘,以短句为单位,相似度为衡量标准,采用支持向量机(SVM)模型对首次病程记录进行去重处理及自动差异化分析,从分析的结果中筛选出68.6%的重复及相似短句.     

基于预训练交互式图神经网络的多元时间序列异常检测

多元时间序列异常检测是数据挖掘领域中的一项重要应用.基于深度学习的异常检测方法已经取得了重大进展,但其仍然存在一定的局限性.首先,是它们假设训练数据仅由正常数据组成,而忽略了异常数据可能导致的不可预测性;其次,大部分方法并未考虑到时间序列的独特特性.为了解决上述问题,基于预训练提出了一种新颖的用于多元时间序列的异常检测框架.框架由预训练模块和预测模块组成,首先预训练模块通过学习时间序列的密集向量表示,增强其可预测性,然后预测模块中充分利用时间序列的独特特性捕获其时间依赖.通过广泛的实验证明了所提出的模型的有效性,在三个真实数据集上均显著优于最先进的模型.     

Prefix-LSDPM：面向小样本的在线学习会话退出预测模型

在线学习会话退出预测旨在准确预测在线学习过程中的学习会话退出，是智慧教育领域中十分重要的一项研究任务。针对现有模型在小样本场景下预测准确率较低的问题，提出了基于前缀提示的在线学习会话退出预测模型Prefix-LSDPM。该模型为获取单个学习行为内部特征及连续学习行为之间的隐含关联信息，在改进了键值向量的Transformer网络中对提示形式的合成序列进行掩码学习；为降低模型训练涉及的参数量以适应小样本学习，将学习会话退出预测任务建模形式靠近预训练任务，并在冻结的预训练参数基础上对提示参数进行调优。基于多个数据集的实验结果表明，Prefix-LSDPM的预测准确率优于现有模型，且在小样本学习中仍能达到较好的预测效果。     

基于SVM的一种医疗数据分析模型

基于SVM分类算法和Web服务框架,提出了一种医疗数据分析与疾病预测模型,改进了医疗数据分析系统与医院数据库之间的数据传输协议.采用该模型与长春某三级甲等医院合作,获取了总共1 695条病人电子病历数据与病人疾病信息作为实验数据,并在医疗数据分析系统中进行数据挖掘分析.通过数据条数的变化和对属性的控制来测试设计的数据分析模型和改进的数据传输协议的传输效率.实验表明,在传输数据之前对数据进行预处理并且通过特征选择算法进行降维处理有助于提高整个系统的医疗数据传输效率和预测准确度.     

基于粒子群最小二乘支持向量机的瓦斯含量预测

针对经验模型与确定性模型在应用中受到限制问题,采用基于统计学习理论的支持向量机对经验数据进行学习,建立瓦斯含量与其影响因素之间的映射模型,从而实现煤层瓦斯含量预测.支持向量机的惩罚因子和核参数取值不同将会明显影响其预测的精度,支持向量机本身也没给出解决的办法,引入粒子群算法自动搜索支持向量机参数.该方法克服了神经网络过学习问题和支持向量机人为选取参数的盲目性问题.通过对某矿区样本的学习预测研究,表明该方法可取得良好的预测效果,具有较好的适应性.     

基于《知网》义原空间的文本相似度计算

针对向量空间模型特征项正交的假设和缺乏语义的缺点,本文在广义向量空间模型的基础上,提出了一种基于《知网》义原的向量空间模型,利用义原的相似度实现文本相似度的计算。通过文本特征项的TF-IDF权重将文本表示为《知网》义原空间中的向量,并利用义原向量之间的夹角实现对文本相似度的计算。通过文本聚类实验对比了本文提出的方法与VSM和GVSM模型,实验结果表明本文提出的方法在语义相似度计算方面相比GVSM和VSM有所提高。     

基于改进深度森林的短期电力负荷预测模型

深度学习模型通过学习数据的深层特征能够有效提高电力负荷预测的准确率,但同时也带来了超参数较多、模型可解释性差等问题。针对这些问题,文中将深度森林模型引入短期电力负荷预测领域。在多粒度级联森林模型的基础上改进了多粒度窗口扫描方法,调整窗口大小与滑动步长,使模型能够在不同时间尺度下提取电力负荷数据的周期性特征。此外,改进深度森林输出层的计算方法,将输出结果由离散的类向量改进为连续的预测值,进而提高模型的精确度。最后在中国东北电网的实测数据中验证了文中所提出方法的可行性与有效性。从实验结果可知,改进深度森林算法在较高预测精度的情况下能取得更高的准确率,并且相较于深度神经网络具有更快的学习速度。     

基于粒子群-支持向量机的时间序列分类诊断模型

构建一种基于粒子群算法-支持向量机(PSO-SVM)的磁共振功能成像(fMRI)时间序列分类诊断模型,通过针对脑区多维时间序列数据的深层次分析实现病症患者和健康者的准确判断与区分,为面向fMRI时间序列数据的病症诊断和预测提供有效科学依据.该方法在以下4个方面不同于其他已有相关研究工作:(1)构建基于自回归模型的脑区多维时间序列数据特征表示;(2)构建基于支持向量机模型的脑区多维时间序列数据分类机制;(3)构建基于粒子群算法的分类学习参数寻优策略;(4)建立融合上述特征表示、优化分类与参数优选模式的fMRI时间序列数据分类诊断模型.通过以精神抑郁症作为实证分析的具体案例,所提出分类诊断模型已取得良好实验效果,展示出其有效性与合理性.     

基于BERT-BiGRU-CRF的电子简历命名实体识别

针对现有的中文电子简历命名实体识别任务中,模型在训练过程中出现字向量表示单一和无法较好地处理字的多义性问题,提出了一种基于BERT的中文电子简历命名实体识别模型。该模型将电子简历的文本数据通过BERT进行字符级编码,根据上下文语境丰富字的语义信息,有效解决了一词多义的问题;将得到的字向量输入到双向门控循环单元进行特征提取,获取文本的上下文特征;利用条件随机场进行解码并生成标签序列,得到命名实体。实验结果表明,该模型能够有效提高中文电子简历命名实体识别的准确率。