基于规则的互联网海量短文本的分类挖掘

对互联网海量短文本进行分类挖掘是网络内容安全的一种主要方法。然而,短文本固有的关键词特征稀疏和样本高度不均衡等特点,使得难以直接使用现有针对常规文本的分类算法。为此,使用逻辑运算数学模型和统计方法等对互联网海量短文本进行规则建模,并对互联网海量短文本的样本进行分析后建立一系列分类规则,然后与基于KNN+SVM混合模型进行测试比较。测试结果表明,针对互联网海量短文本,基于规则的分类模型更适用于互联网海量短文本的分类挖掘,同时该模型已经成功应用在上百个项目上,应用效果较好。