基于主题网络爬虫的不良网页的发现与识别

针对互联网中出现的大量不良内容,分析出其主要特征,首次提出将不良网页的文本特征与搜索引擎中网络爬虫相结合的技术来主动寻找互联网中的不良网页及不良网站,并将结果分级别反馈到用户层以便对不良网页和网站进行处理,以达到净化网络环境的目的.实验结果表明,所提出的算法能够有效检测不良网页,并且能够很好地应对不良网站的反关键字过滤策略.     

基于模型共享的分布式无监督异常检测

提出一种具有通用性的分布式异常检测框架.首先,利用本地的无监督异常检测算法,建立多个本地检测模型;然后,将各个本地无监督检测模型转换成统一的共享模型;最后,采用集成学习的方法,综合考虑各模型差异性和准确性,实现全局异常检测.实验结果表明,基于模型共享的分布式异常检测不仅能有效地保护数据隐私,减少通信开销,同时能获得和集中式检测相当甚至在某些情况下更好的效果.