基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.     

一种基于贝叶斯后验的异常值在线检测及置信度评估算法

为识别一类更新速度快、变化趋势平缓、缺少人工类标的大数据量工业时间序列中所存在的异常值,提出了一种以贝叶斯后验为基础的异常值在线检测及置信度评估算法.算法将预测检测和假设检验相结合,首先建立时间序列自回归模型,然后对预测残差作基于贝叶斯原理的后验检验,用后验概率对数比确定序列中的异常值.为减少识别过程中的误判,在检测完成后,利用自组织映射神经网络计算状态转移概率,进一步对已标记的异常值进行置信度评估.通过定期更新模型,算法各参数能动态保持与数据变化规律同步,提高了检测的准确率.实验结果表明,该算法能够对时间序列异常值准确快速地进行在线检测,同时给出可靠的置信度评估,具有较高的实用价值.     

统一身份认证日志集中管理与账号风险检测

为提升统一身份体系的安全性,检测账号异常登录和盗用事件,以上海交通大学为例,梳理了接受统一身份账号登录的所有网络服务,对各入口认证日志做分布式采集和格式统一,实现了身份认证日志的集中审计管理.基于对用户校园网服务使用习惯的分析,设计了基于行为的账号风险评估算法,利用地址数据和威胁情报对日志进行扩充,根据用户使用模式分析标注正常登录和风险访问行为,对账户提取16种特征后使用机器学习方法进行异常检测.实验结果表明,使用随机森林算法分类可在0.1%的低误报率条件下取得89.5%的检出率,效果明显优于传统基于异地登录检测的方法.将检测模型应用于实际日志1个月,发现了375个存在风险的账号.     

基于LSTM-WGAN的时间序列数据异常检测

在时序数据中发现隐藏的异常行为或事件,可以保障生产安全,具有重要意义。目前的异常检测模型存在训练不稳定、容易产生梯度消失的问题,影响异常检测效果,针对该问题,提出一种LSTM-WGAN模型,WGAN负责捕获变量之间的潜在关联,进一步提升了LSTM的检测能力。同时,以Wasserstein距离代替交叉熵损失训练判别器和生成器,结合重构损失以及判别损失实现异常检测。在NAB公开数据集上的实验结果表明LSTM-WGAN相较于基准模型在准确率、召回率以及F1得分上都有较大幅度的提升。     

基于时空融合深度学习的工业互联网异常流量检测方法

基于流量异常发现网络中的攻击行为具有普适性优势，而传统的异常流量检测方法难以适应大量复杂的工业互联网流量特征提取，针对此问题提出一种基于时空融合深度学习的工业互联网异常流量检测方法。对类别不平衡的流量数据进行预处理操作，以形成样本分布较为均衡的流量数据集;使用融合聚合残差变换网络和门控循环单元的深度学习模型从空间和时间维度上提取流量数据特征，实现时空融合的流量数据特征的综合提取;通过Softmax分类器对流量数据进行分类。实验测试结果表明，所提方法具有较高的准确率和F1值，分别可达到94.7%和95.47%。与传统的异常流量检测方法相比，所提方法提高了对工业互联网异常流量数据的检测指标，且模型的运行时间相对较短。     

考虑病害三维特征的沥青路面车辙异常检验方法

针对复杂路况下车辙深度异常或横断面数据不完整的问题,提出了基于病害三维特征的路面车辙异常检验方法.首先,对三维图像中激光点异常值进行筛选及修正,利用横断面深度数据应用包络线算法提取最大车辙.考虑到裂缝、坑槽和拥包对车辙提取存在误判,利用三维高程数据建立病害种子检测模型以自动提取裂缝、坑槽和拥包种子点.测试结果表明,车辙深度相对误差小于7%,车辙深度测量重复性小于4%,包络线算法结果与人工测量值的相关系数高达0.999 2.在车辙异常检验中,裂缝种子识别模型准确率和召回率的均值分别为92.18%和84.79%,且F值为88.33%,优于支持向量机及改进的Canny方法.坑槽及拥包种子识别模型检测正确率大于95%.所提方法不仅能高效地提取车辙深度,而且能准确地检验造成车辙检测异常的其他病害.     

融合BERT词嵌入和BiLSTM的微博谣言持续检测模型

针对微博谣言带标签数据不足，且当下的谣言检测模型无法持续学习应对不断变化的微博网络语言等问题，本文提出BERT-BiLSTM-LML微博谣言持续检测模型.首先，使用BERT(Bidirectional Encoder Representations from Transformers)预训练模型提取两个任务输入文本数据的词向量；其次，使用双向长短时记忆(Bi-directional Long Short-Term Memory, BiLSTM)网络充分提取文本的上下文特征；最后，基于BiLSTM深层特征使用终身监督学习算法ELLA(Efficient Lifelong Learning Algorithm)对两个任务的特征数据进行建模，以实现对微博谣言的持续检测.实验结果表明：BERT词向量有效优化了模型性能，比基于Word2vec词向量的Word2vec-BiLSTM-LML模型在准确率和F1值都提升了5.5%.相较于独立学习，在持续学习争议检测任务后，模型的谣言检测准确率提升了1.7%,F1值提升了1.8%.同时，在持续学习过程中，随着知识的积累，谣言检测准确率持续提升.最终在公开...     

效能评估可信度的客观度量方法

针对目前装备系统效能评估可信度无法客观度量的问题,提出了一种客观度量评估可信度方法。该方法从评估数据、评估模型及单样本分类置信度3个方面描述评估可信度。在计算评估数据可信度方面,通过分析评估数据的不确定性确定评估数据的可信度;在计算评估模型可信度方面,将模式分类准确率转化为评估模型可信度度量指标;在计算单样本分类置信度方面,根据不同类别样本在高维空间的分布关系,给出了适用多数分类算法的分类置信度计算方法;进一步通过可信度传播模型将以上3个方面进行综合,得到综合评估可信度。对雷达抗干扰效能评估可信度的仿真结果表明:该方法不使用专家经验知识,能够客观度量效能评估的可信度,其结果不受评估主体影响,解决了不同专家对同一装备给出的效能评估可信度不同的问题;与现有主观方法相比,准确率提高了10%。     

一种基于Web日志挖掘的用户偏爱度度量方法

分析了用户访问Web站点的浏览日志,度量用户的浏览行为.实验从实际获得的Web日志着手,进行Web日志的挖掘,提取用户浏览Web的行为特性数据.通过时间阈值进行会话的划分,选取合适的数据预处理,归一化后生成数据模式向量,引入人工神经网络中的自组织特征映射(SOM)模型,对用户访问倾向聚类,对用户浏览的偏爱度进行度量,为Web站点的进化提供依据.     

广域级电网在运智能电能表的烧损故障关联分析和预测方法

针对智能电能表在运行过程中出现烧损的现象，在对各类因素进行关联分析后， 提出了一种基于XGBoost算法的智能电能表烧损预测方法，以某省份2019—2020年的数据为例进行了测试验证. 采用该方法结合电能表基本信息数据、运行数据和环境数据进行烧损识别，并与K最邻近法（K-NearestNeighbor，KNN）、朴素贝叶斯和支持向量机等传统机器学习算法进行对比. 结果表明，基于极限梯度提升算法（eXtreme Gradient Boosting， XGBoost）的算法精度达到91%，召回率达到66%，综合指标F1达到76.51%，远高于传统算法. 算法模型在进行系统部署的过程中，运用长短期记忆算法（Long Short Term Memory， LSTM）对部分缺失值进行了填充，经试点验证，该模型可较为准确地预测低压台区电能表烧损现象.     

基于审计日志的关联规则挖掘

为解决审计日志信息利用不充分的问题,通过改进FP-Growth方法研究了审计日志关联规则,提出了基于相互关联规则的KAFP-Growth算法。将现有的审计日志与先进的数据挖掘分析技术结合,在详细研究Apriori算法、PCY算法和FP-Growth算法后,引入了重要属性的概念,对审计日志中的重要属性进行约束,减小了频繁项集,提高了计算性能。实验结果验证KAFP-Growth算法有效提高了审计日志的关联分析效率,相较于FP-Growth算法,在最小支持度相同的情况下,改进算法运行时间速度提升了49.3%,随着数据集规模的增大,改进算法运行时间可提升60%以上。     

水合物海脊ODP204航次天然气水合物测井评价

在天然气水合物勘探中,地球物理测井是一种重要的资源评价方法。针对卡斯凯迪亚大陆边缘水合物海脊的天然气水合物储集层,利用ODP 204航次的测井数据,对水合物脊天然气水合物储层常规测井响应特征进行总结,并采用密度法和标准阿尔奇公式对储层孔隙度和水合物饱和度进行评价。结果表明,ODP 204航次的水合物测井响应以高电阻率、高声波速度异常最为明显,密度测井和自然伽马测井出现小幅度的低异常。密度法和标准阿尔奇公式的初步计算结果显示,ODP204航次1247B和1250F孔天然气水合物储层孔隙度分别介于51.6%-58.9%和53.2%-60.6%,水合物饱和度分别介于0-18.0%和0-33.0%。     

基于异常检测的入侵检测技术

对目前的异常检测技术进行了全面概述, 按照采用的不同技术将异常检测分为基于统计、 基于机器学习和基于数据挖掘3种, 阐述了各种异常检测技术的特征, 并描述了目前基于异常入侵检测系统用到的各种算法及其实现方法. 通过实验结果, 比较了各种算法的检测效果.     

Intrusion detection based on rough set and artificial immune

In order to increase intrusion detection rate and decrease false positive detection rate , a novel intrusion detection algorithm based on rough set and artificial immune ( RSAI-IDA) is proposed. Using artificial immune in intrusion detection , anomaly actions are detected adaptively , and with rough set , effective antibodies can be obtained .A scheme , in which antibodies are partly generated randomly and others are from the artificial immune algorithm , is applied to ensure the antibodies di-versity.Finally, simulations of RSAI-IDA and comparisons with other algorithms are given .The ex-perimental results illustrate that the novel algorithm achieves more effective performances on anomaly intrusion detection , where the algorithm ’ s time complexity decreases , the true positive detection rate increases , and the false positive detection rate is decreased .     

An Improved String-Searching Algorithm and Its Application in Component Security Testing

Mass monitor logs are produced during the process of component security testing. In order to mine the explicit and implicit security exception information of the tested component, the log should be searched for keyword strings. However, existing string-searching algorithms are not very efficient or appropriate for the operation of searching monitor logs during component security testing. For mining abnormal information effectively in monitor logs, an improved string-searching algorithm is proposed. The main idea of this algorithm is to search for the first occurrence of a character in the main string. The character should be different and farther from the last character in the pattern string. With this algorithm, the backward moving distance of the pattern string will be increased and the matching time will be optimized. In the end, we conduct an experimental study based on our approach, the results of which show that the proposed algorithm finds strings in monitor logs 11.5% more efficiently than existing approaches.     

Semantic Session Analysis for Web Usage Mining

A semantic session analysis method partitioning Web usage logs is presented. Semantic Web usage log preparation model enhances usage logs with semantic. The Markov chain model based on ontology semantic measurement is used to identifying which active session a request should belong to. The competitive method is applied to determine the end of the sessions. Compared with other algorithms, more successful sessions are additionally detected by semantic outlier analysis.     

Algorithm of Intrusion Detection Based on Data Mining and Its Implementation

Intrusion detection is regarded as classification in data mining field. However instead of directly mining the classification rules, class association rules, which are then used to construct a classifier, are mined from audit logs. Some attributes in audit logs are important for detecting intrusion but their values are distributed skewedly. A relative support concept is proposed to deal with such situation. To mine class association rules effectively, an algorithms based on FP-tree is exploited. Experiment result proves that this method has better performance.     

高光谱遥感图像异常检测研究进展

高光谱遥感图像异常检测即是对遥感图像中与背景存在显著光谱差异的像元进行识别,它在灾害预测和环境监测等领域具有很大应用价值.异常检测受到遥感学界的普遍重视,这些年来对异常检测开展的研究取得了不少成果.高光谱图像异常检测研究最初基于传统数据处理和信号分析方法,随着高光谱图像数据处理研究的深入及数据挖掘技术和智能学习方法等相关技术的发展,现在呈现智能和联合处理的新方向.文章对异常检测算法近来的研究进展进行的介绍以期为异常检测的相关研究提供一定参考.     

面向域名解析系统的知识图谱构建与应用方法

为提高网络域名系统(domain name system, DNS)服务器日志分析能力,综合多种技术提出了构建面向域名解析系统的知识图谱。首先,应用域名解析、权威域名服务器、别名解析、自治系统等基本原理设计了基于aiohttp和dig技术相结合的数据采集方案,构建了相应的领域知识库;其次基于该知识库设计和构建了面向域名解析系统的知识图谱,其节点规模达近500万;然后应用该知识图谱解决web日志中异常访问行为识别效果差的实际问题。以某国家网络信息安全科研机构的网络服务器日志为研究对象,对比是否采用知识图谱进行实验：在爬虫行为、域名暴力解析行为、DNS重复解析行为的识别实验中,F₁值分别提高了14.88%、47.23%和91.63%。结果表明,该知识图谱能够有效提高web日志中异常行为识别率。