大数据环境下的微信息蜜罐监测

互联网自媒体呈现大数据特征,负能量言行时常爆发,舆情检测已经成为网络监管的重大难点问题.本文基于软件定义网络、蜜罐技术和分布式架构,综合"流量级"检测和"进程级"检测2个层面,通过构造异常行为数据集和敏感文本类型数据集,设计负能量舆情倾向的检验算法,搭建虚拟蜜罐式主动性舆情检测系统.实践证明,虚拟蜜罐式主动舆情检测系统,能较好地完成自媒体圈的主题倾向监测任务,为自媒体圈舆情检测技术提供新的研究视角.     

一种面向博客群的主题倾向性分析模型

本文结合网络虚拟社会中舆情检索的实际需求,提出了一种面向博客群的主题倾向性分析模型.针对博客主题评论篇幅长短不一的结构特点,模型采用不同的文本倾向性处理方法：对于较长篇幅评论文本,分别统计目标评论中赞同、反对字符的倾向字符权重及其分布密度;对于拥有少量文字的主题评论,通过计算评论中字符倾向权重之和,实现评论倾向性评估.实验中通过构建面向“网络文化”的博客主题测试集,对模型的主题评论倾向性计算方法以及语义检索能力进行验证评估.实验结果表明模型具有较好的文本倾向性识别能力.     

深度神经网络模型用于图像斑点微瑕疵检测

在印染行业中,产品外观经常会出现很多斑点状缺陷,此类缺陷属于微瑕疵,其人工检测成本高且检测难度大。针对产品外观斑点状缺陷,本文提出了一种基于机器视觉的图像微瑕疵检测方法,其主要思想是基于Faster-RCNN框架构建轻量化网络模型,并利用样本梯度特征信息进行非端对端网络训练。所设计的非端对端训练模式不仅能有效缩短模型训练时间,还可以提升模型推理能力。实验结果表明,针对不同类型班点微瑕疵,本文提供的检测算法具有高效的局部检测精度,且可应用于其他领域的类似斑点任务检测。     

基于SVM的木马流量特征检测方法

针对木马能以隐蔽的方式盗取用户敏感信息、文件资源或远程监控用户行为,对网络安全构成极大威胁,提出一种基于流量特征的木马检测方法,通过统计分析服务器端口有序性、服务器使用客户端端口号、客户端发包数、服务器端发包数等特征,使用支持向量机(support vector machine,SVM)算法进行分类训练并建立基于流量的木马监测模型;基于流量特征的普遍性和通用性,该方法对于未知木马也比较有效.仿真测试结果表明,所提出方法具备对常见木马或未知木马的良好检测能力,实验条件下盲检测准确率可达96.61%.     

基于相对权重的网络舆情监测系统设计

针对网络舆情监测过程中,其舆情监测的精度和准确性的问题,设计了一种基于相对权重的网络舆情监测算法和系统.详细阐述了舆情监测系统组成结构,对所设计的舆情监测算法进行了重点分析,给出了舆情监测中主要的计算函数,以及舆情监测算法实现流程.最后通过测试表明,笔者设计的舆情监测系统,对事件的监测精度达到84%以上,具有较高的监测能力.     

基于大规模弹幕数据监听和情感分类的舆情分析模型

随着在线视频平台的快速发展,弹幕逐渐成为人们表达观点的一个重要途径,尤其受到年轻人的欢迎.与常规的文本不同,弹幕文本普遍较短,表达随意,网络词汇较多,一些常规的停用词被用于表达情感.提出了一种基于弹幕数据的舆情分析模型,针对弹幕数据生成和存储特点,提出了热点检测循环自适应弹幕数据获取算法;扩充了情感词典来区分弹幕中情感倾向数据和中性数据,以解决弹幕中出现的网络词汇较多的问题;基于卷积神经网络(Convolutional Neural Network, CNN)建立了情感褒贬分类模型,用来区分情感倾向弹幕的正负情感倾向,在此基础上得到了舆情分析的结果.实验表明,本文的舆情分析模型能有效地表达新闻类弹幕数据的舆情分析结果.     

基于聚类分析的网络舆情监控系统的设计

目的结合中文信息处理技术,设计一个网络舆情监控系统;针对网络舆情挖掘研究中存在的问题,提出了一种K-means改进算法,实现Web挖掘基础上的文本聚类与主题发现。方法构建一个基于聚类分析的网络舆情监控系统,并详细介绍系统各个模块用到的关键技术;提出了一种K-means改进算法,对K-means算法中的关键环节(聚类初始值的选择和孤立点的剔除)进行了改进。结果设计的系统能通过对网页、论坛、博客、新闻评论等网络资源的精确采集,并结合网页净化、中文分词、向量模型建立、特征选择、降维处理,文本聚类等中文信息处理技术,实现对网络舆情的监测;改进算法的总体思路是要求用户输入簇的初始个数k和最大值kmax,由改进算法在计算过程中自动计算出聚类的结果数k。结论设计了一个基于聚类分析的网络舆情监控系统;提出了一种K-means改进算法。具体算法实施及将这些关键技术整合实现成一套自动化的网络舆情信息采集、分析、监测与预警系统,是网络舆情挖掘研究工作的下一步重点。     

中文BBS态度倾向分析算法研究

作为互联网上网民自由发表言论的重要场所,BBS包含了大量的舆情信息,对其进行分析和舆情监控具有重要意义.本文研究了中文BBS态度倾向的自动识别问题,提出了基于情感词的BBS态度倾向启发式算法以及基于有监督学习的BBS态度倾向识别算法.实验中使用了三种不同的分类模型,并将有监督学习算法与启发式算法进行了实验对比.实验结果表明,有监督学习的BBS态度倾向识别效果明显优于启发式算法的效果.     

基于组合分类器的DDoS攻击流量分布式检测模型

针对传统攻击流量的集中式检测模型中可扩展性差,检测效率低以及误报率高等问题,设计了针对DDoS攻击流量的随机森林分布式检测模型,该模型包括数据采集模块、数据预处理模块、分布式分类检测模块和报警响应模块.将该模型与基于Adaboost算法的分布式检测方法进行比较,并通过实验研究验证了模型的有效性.结果表明:基于随机森林的组合分类器分布式检测模型具有更高的检测率、正确率、精确率以及更低的误报率,并且该模型部署灵活,适用于工程实践.     

语义环境下的多维度微博舆情信息关联检测方法

针对微博舆情信息的特点,提出基于语义理解的微博舆情信息关联检测方法。从舆情信息表示模型和舆情信息相关度计算方法两个方面展开研究。在信息表示方面,使用微博的评论信息扩充微博信息以期较好地应对数据稀疏现象,基于同义词词林来计算词汇相似度,以应对微博草根性带来的问题,将微博舆情信息表示成多个向量空间模型。在相关性计算方面,提出多维度相关性计算方法。实验证明,所提出的方法对关联检测的准确率和召回率都有较好的提升。     

基于综合评分的DDoS检测分析报告系统

针对分布式拒绝服务攻击所采用的攻击方式多变这一问题,设计了综合评分算法,可以综合使用多个异常检测算法,综合评估以识别攻击.因现有的分布式拒绝服务攻击检测方法难以给出异常流量的具体特征,设计了Apriori-Geo-AS算法和端口分布分类的Kolmogorov-Smirnov检验算法,通过改进Apriori算法,能够更有效地提取攻击源的主要来源地址、端口和地理位置信息;通过和理想端口分布进行Kolmogorov-Smirnov检验,能够进一步判断出攻击者的端口使用模式.实验结果表明,异常检测算法正常时段的误报率低于0.2%,通过对清华大学校园网的网络攻击进行分析验证了本系统攻击分析部分的有效性.     

一种逻辑模型树算法在网络舆情中的谣言检测

网络舆情中的谣言对社会危害极大,因此有效地检测网络舆情中的谣言已是当务之急.目前,一些单一机器学习算法被相继应用到谣言检测中.针对这些单一机器学习算法在分类上的局限性,将一种融合逻辑回归与决策树的逻辑模型树方法用于谣言检测上.根据舆情分析报告上采集的数据集,实验结果表明:组合模型逻辑模型树的分类预测准确率比已应用到谣言检测的单一机器学习算法明显要高,逻辑模型树是一种有效的谣言检测方法.     

基于深度森林算法的分布式WSN入侵检测模型

针对现有的特征选择算法和分类算法在无线传感器网络(WSN)入侵检测系统中检测性能表现不佳、检测实时性差、模型复杂度高等问题,提出一种基于随机森林和深度森林算法的分布式WSN入侵检测模型.该模型首先对传感器节点流量数据进行预处理;然后将轻量级随机森林分类器部署到传感器节点和簇头节点,传感器节点和簇头节点合作对流量数据进行处理,并在基站上采用深度森林算法从大量流量数据中发现攻击行为;最后对WSN中的入侵行为进行实时分类入侵检测.使用无线传感器数据集WSN-DS和NSL-KDD数据集来评估所提出的模型性能.实验结果表明,该模型与现有的入侵检测模型相比,具有良好的检测性能,实时性较高,可避免模型过度拟合.     

基于流时间影响域的网络流量异常检测

针对如何提高网络流量异常行为检测准确率的问题,提出基于网络流时间影响域(TID)的网络流量检测模型.通过分析正常和异常情况下流量网络模型平均度的变化,构建了基于复杂网络平均度指标的网络流量异常检测算法.实验结果表明,基于网络流时间影响域的流量网络模型能合理地描述网络流量间的依赖关系,具有良好的检测性能,同时该网络模型仅需时间戳、源IP、目的IP三维网络特征即可实现,检测方法适用于绝大多数网络类型,检测效率优于其他网络流量异常检测方法,具有较高的普适性.     

基于层次聚类的子话题检测算法

使用隐狄利克雷分布(LDA)进行话题检测时,话题模型产生的话题存在语义上的分层现象;LDA建模产生的话题会出现语义上概括较广的泛话题;话题数目超参数K的设定通常根据人的经验.这些将造成建模结果出现包含多个子话题的混合话题情况.针对上述问题,文中基于层次聚类算法,使用一种文档特征词序列对LDA模型分类结果粒度过粗、热点话题检测结果泛化所导致的舆情监控价值较低的情况进行子话题检测.首先对LDA模型建模结果进行优化,对话题-单词分布与文档-单词分布两个矩阵进行过滤;然后对重叠话题进行检测与合并,采用文档间紧密度度量方式发现泛话题与混合话题;最后通过层次聚类算法对话题下的文本进行二次聚类,得到话题下的子话题.实验结果表明:该算法对子话题的检测能够在更深层次上体现出热点话题的特性,便于舆情监控分析;与Single-Pass算法和K-均值聚类算法相比,该算法获得的结果更具有有效性;K的选取策略对基于层次聚类的子话题检测算法具有鲁棒性.     

面向新浪微博的情感社区检测算法

面向社交网络的情感社区检测,可应用于公共健康、舆情监测等领域.以新浪微博为平台建立一种情感社区检测框架,首先融合微博情感表情特征和情感词典,提出基于朴素贝叶斯算法的半词典半表情(naive Bayes based semi-lexicon and semi-emoji,SL-SE-NB)分类模型以实现对文本的情感极性预测;提出一种基于潜在狄利克雷分配(latent Dirichlet allocation,LDA)话题模型的用户-超话题-关键词(user-topic-keywords,UTK) 模型抽取用户话题;基于标签传播算法(label propagation algorithm,LPA)并加入话题概念,提出基于种子集与最小边介数的标签传播情感社区发现算法(label propagation algorithm based seeds and min-edge betweenness,SMB-LPA).最后通过实验验证了所提出算法的有效性和高效性.     

基于团块分析法的车辆检测与计数

为解决传统车辆检测和计数方法局限性的问题,设计一种基于人机交互界面的车辆检测与计数方法.利用灰度世界算法进行图像预处理,去除灰度突变;利用改进混合高斯法建立背景模型,并选取像素信息进行背景自适应更新;利用五帧差分法提取前景目标,提高检测的准确性;划定感兴趣区域并设置虚拟绊线使检测更有针对性;利用目标团块分析法进行目标跟...     

基于时序主题的网络舆情热点话题演化分析方法

针对舆情话题演化中的话题漂移和衍生效应,提出基于时序主题信息的舆情话题演化分析方法并通过加入时序标签,对舆情热点话题内容和强度的演化过程进行了可视化.实例证明,该文提出的话题追踪算法能够有效探测出各阶段的舆情热点话题、分析舆情演化趋势,为突发事件发展态势的预测提供理论借鉴.     

昆明某医学高校突发砍人事件网络舆情的聚类分析

以2015年昆明某医学高校发生的一起校园砍人事件为例,结合网络舆情的载体和主体进行舆情分析,收集到关注度较高的5大新闻网站网民评论量,共提取了11个主题关键词,并统计了它们的词频,分析出网民评论的倾向性;通过构建数据矩阵进行聚类分析,得出关键词的5个分类;最后,根据模型分类结果,针对高校突发安全事件的应急处置工作,从信息发布、心理素质综合训练、处置机制、处置协助、舆情控制等提出一些建议.     

基于Windows Native API序列的异常检测模型

针对Windows操作系统受到的越来越多的严重攻击，提出一种基于Native API序列的多步一致模型和指数迭代检测算法，实现了从内核空间检测Windows操作系统中的异常入侵．通过设计内核虚拟设备来截获系统服务分配表，从而可实时地获取Native API信息．用被截获的正常Native API数据建立一步和二步一致模型，并以此描述进程的正常行为．在检测过程中，通过指数迭代检测算法，可对不断出现的Native API的正常指数进行度量．采用报警提取算法对正常指数进行分析可惟一地确定对应的攻击，为管理员及时掌握系统的安全状况提供了保证．在不同的Windows操作系统环境下的实验结果表明，该方法有较好的检测精度．