基于自动编码器的短文本特征提取及聚类研究

针对短文本的特点,提出一种基于深层噪音自动编码器的特征提取及聚类算法。该算法利用深度学习网络,将高维、稀疏的短文本空间向量变换到新的低维、本质特征空间。首先在自动编码器的基础上,引入L1范式惩罚项来避免模型过分拟合,然后添加噪音项以提高算法的鲁棒性。实验结果表明,将提取的文本特征应用于短文本聚类,显著提高了聚类的效果,有效地解决了短文本空间向量的高维、稀疏问题。     

基于随机森林分类的微博机器用户识别研究

针对网络上机器用户大量散布谣言,发布虚假信息,误导网民舆论,严重影响网络环境的问题,以微博中的机器用户为研究对象,结合其自动化程度高、伪装能力强、信息发布有针对性的特点,从行为模式、微博内容、用户关系和发布平台4个维度分析机器用户的特征指标,利用信息熵、内容重复率等8个指标构建微博用户的特征向量,通过随机森林算法设计微博中机器用户的识别模型。最后,在真实的新浪微博数据集上进行验证,结果表明本模型识别机器用户的准确度达到96.7%,可以有效地区分微博中的机器用户和普通用户。