网页超链抓取及自动分类技术实现

为网络环境下个性化信息服务系统实现自动建库功能,提出了一种网络蜘蛛程序的技术方案.该方案使用DELPHI集成开发环境提供的TIdhttp组件抓取网页文本,并利用正则表达式和Mshtml组件从中提取超链信息保存到指定数据库,并能对网页文本进行自动的统计分类.     

基于Web挖掘自动分类器的设计与实现

分析分布式实时网络行为监控系统中Web网页安全性挖掘问题,设计实现一个基于Web挖掘的自动分类器,并构造一个实验环境来检测分类器的性能.该自动分类器利用特征提取算法实现对每个样本的特征向量提取和待分类文本的特征向量提取,利用基于k个"最近邻"(KNN)分类算法实现对网页的分类,能够提取出带有不安全信息的网页,分类效果良好.     

基于聚类和分类的个性化文章自动推荐系统的研究

由于缺乏足够的反映用户兴趣的知识,以及巨大的在线计算量,导致互联网上现有文章自动推荐系统普遍存在盲目性和低效性的问题.针对以上问题,提出了一种基于聚类和分类的个性化文章自动推荐系统,利用机器学习的方法隐式地获取用户模型,并根据用户模型为用户提供个性化的文章自动推荐服务.该系统包括离线用户模型及用户群获取子系统和在线个性化文章推荐子系统两大部分,前者对文章进行聚类形成聚类兴趣点,构建基于聚类兴趣点的用户模型,并根据用户兴趣聚类形成各兴趣点的用户群;后者对待推荐文章进行分类,搜索到其所属的兴趣点,向该兴趣点的用户群进行主动推荐.理论分析和实验结果表明,该系统能够显著提高有效性和在线响应速度.所述的设计思想和技术也适用于其它互联网个性化信息自动推荐系统.     

基于特征概念自动提取系统的研究

文本分类与文本信息特征概念的提取是当前智能信息服务研究的重点，为自动获取新的特征概念，提出了一种基于特征概念的自动提取系统，该系统包括分词、综合文本词权处理、类别归属和特征概念提取等部分，能有效地从概念上提取文本类特征，提高文本自动分类的准确性．     

基于知识增强的ERBERT-GRU中文图书分类方法研究

图书的自动分类是图书管理和图书推荐算法中的基础工作,也是难点之一,而且目前针对中文分类算法主要集中在短文本领域中,鲜有对图书等长文本分类的研究.该文对深度学习分类算法进行了深入细致的研究,并对BERT预训练模型及其变体进行相应的改进.利用复杂层级网络叠加双向Transformer编码器来提取隐藏在文本中的细粒度信息.在预训练过程中,增加实体级别的遮罩,获得对传统BERT模型的改进,提高了模型对中文语义理解的能力.通过添加外部知识提升了该模型的鲁棒性.     

基于粗糙集与KNN的Web文本分类的研究

为了从海量的信息资源库中快速、准确地进行分类并提取出有用的信息,提出了一种基于粗糙集和KNN混合的Web文本分类模型。利用粗糙集的属性约简理论降低了文本分类过程中的向量维数,使用一种基于分明矩阵的属性约简算法,特征选择过程采用互信息量计算方法,并对该混合算法进行了实验,同时结合传统的KNN方法对该混合算法进行比较,验证该算法的可行性。     

基于分块的网页主题信息自动提取算法

对互联网上大量存在的基于模板的网页,根据其半结构化的特点,提出了一种网页分块和主题信息自动提取算法.该算法利用网页标记对网页进行分块,改进了传统的文本特征选择方法,把网页块表示成特征向量,并根据有序标记集识别主题内容块.用该算法改进了网页分类的预处理过程,提高了分类的速度和准确性.实验表明,对网页进行主题信息提取后再进行分类,可以提高分类系统的查全率和查准率.     

针对虚拟人的文本情感语义分析

为了使个性化虚拟人更加形象生动,能根据用户输入的文本做出表情动作,运用自然语言处理技术对中文和英文文本进行语义和分类处理,分析出动作和情感信息。采用潜在语义方法从文本中提取出动作语义信息,利用hownet计算词汇相似度,使用K最近邻方法将文本情感信息分为6类:愤怒、厌恶、恐惧、喜悦、悲伤和惊讶。实验结果为:语料文本分类准确率为87.5%,系统能从用户输入的文本中提取出情感、动作信息,使虚拟人做出相应表情变化。     

多策略融合的SVM决策树构建

为了在提高文本分类效率和提升分类速度间进行平衡,综合考虑SVM决策树的深度、均衡度、构造方式、类内样本数、类间相似度等对分类结果的影响,提出针对海量文本多分类问题的SVM决策树构建算法.在大规模语料库上的文本分类实验表明,该算法可在一定程度上提升分类效果,同时可以大幅减少训练和测试时间,方法可行且适应性强.     

基于文本挖掘的商品推荐

对电子商务网站的评论文本进行分词、去停用词等整理,通过词频统计提取特征词,应用词频-逆文档频率提高特征词的类别区分能力以增加特征词的准确性.在收集大量的电子商务网站的评论文本及一系列预处理后构建了特征词词库.采用词语相似度计算方法用于关键词向量与特征词词库相似度的计算.根据相似度计算结果对用户评论的商品进行排序以实现对用户商品的推荐.设计了商品推荐系统并完成了实验程序.利用收集到的用户评论文本完成了对商品的推荐实验,并对实验结果进行了考察与分析.     

NBA赛事新闻的自动写作研究

基于NBA赛事新闻和文字直播的特点,提出一种NBA赛事新闻自动写作方法。首先根据两支球队的比分差,构建比分差函数,并提出基于比分差函数性质的数据分片算法和数据合成算法;然后对数据片进行分类处理,根据数据片的类别以及历史NBA赛事的新闻报道,构建NBA赛事报道模板库,并以球队和球员的表现为中心,将数据片的信息填入已构建好的模板,得到一篇自动生成的NBA赛事新闻稿。提出4种指标衡量NBA赛事新闻自动写作的质量。实验表明,该方法有效、可行,并且写作速度较快,能够对赛事新闻撰写者提供帮助。     

基于决策树分类的个性化农产品移动信息服务系统

针对农产品移动信息服务的需求,结合分类算法和个性化推荐算法,提出了一种基于分类的推荐算法.利用决策树分类方法对农产品进行分类,获得分类后的数据,采用协同过滤算法分析分类数据,查找兴趣相似的用户,将感兴趣的农产品信息推荐给正在使用系统的用户.实验结果表明:与传统的推荐方法及相比,该系统向用户推荐了兴趣度更高的农产品移动信息.     

足球赛事战报的自动写作研究

在分析不同类型体育赛事报道特点的基础上, 首次提出一种以实时数据作为数据源的足球赛事战报自动写作方法。该方法利用历史战报, 对实时数据进行自动标注, 得到训练集, 使用卷积神经网络(CNN)对标注后的实时数据进行建模, 自动识别实时数据中的关键事件, 将关键事件中结构化的信息生成战报风格的自然语言。实验表明, 与其他方法相比, 该方法写作效果更好, 内容更加详实, 可以很方便地扩展到其他赛事的自动写作。     

基于样本实例的Web信息抽取

主要研究了基于HTML文档的信息抽取,提出了一种基于样本实例的Web信息抽取的方法.用户首先选定样本页面和预先定义模式(基于O-R模型),然后对样本页面和其中的样本记录进行标记、学习,形成信息抽取规则,并存入知识库;利用知识库对其他同类页面自动抽取所需的信息,存入数据库中.本方法可用于Web查询,也可用于信息集成的包装器.     

基于卫星遥感图像的农作物分类算法

为提高遥感图像对农作物的预估精度和农业种植效率, 设计了基于卫星遥感图像的农作物分类算法。 以2018 年 7 月 30 日哨兵二号(Sentinel-2)卫星拍摄的高分辨率哈尔滨市农业示范基地卫星影像为实验数据, 在不同光谱波段内(含红边波段), 通过使用最大似然法、 支持向量机法、 神经网络法分别对影像中水稻、 大豆、玉米、 高粱等农作物特征进行提取、 分类, 获得到农作物分类图;将统计结果与真实的参数进行比较, 分析了相同算法下使用不同数据源, 不同算法使用相同数据源, 这两种情况下的分类精度与可靠性。 实验结果表明,通过神经网络法得到的分类结果精度最高, 可靠性最强, 适合于全国范围内推广。     

结合Transformer模型与深度神经网络的数据到文本生成方法

数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。     

新闻语料自动分词系统

本文介绍了一个已研制成功的新闻语料自动分词系统—NEWS的结构和功能。着重介绍了汉语分词词典的信息描述和动态设置方法。应用结果表明,NEWS是一个高效的实用系统。     

凉山民族地区农技推广体系建设的思考

通过对凉山民族地区农技推广体系面临的主要问题的分析,要建立健全民族地区农技推广体系,必须努力提高农民与推广人员的整体素质,加强农技推广服务体系建设,建立健全农业信息网络,实施优惠政策,努力充实民族地区农技推广队伍,建立农技推广组织的良性运行机制,依法加强农技推广投入,奠定民族地区农技推广事业的发展后劲,不断改革和优化农技推广方法,坚持典型引路,积极发展“公司 农户”的推广模式,加快农业产业化进程等方面。     

湖北农村“技、信、物”综合服务模式探索

围绕农民在生产过程中的科技需求、农业生产资料流通过程中的信息化管理需求,提出了整合科研机构的科技信息资源、镇村信息服务站、农资经营加盟店等网点资源的"技、信、物"综合服务新模式;通过技术流动、信息流动、物质流动,实现面向农户、农业生产资料物流体系、农资经营加盟店和政府监管部门等主体的科技、标准、市场、监管等全方位的信息化管理与服务,并对模式的运行保障措施进行了分析。     

媒介接触视域下农业科技传播的影响因素研究

发展农业科技是乡村振兴的重要途径.该文通过乡村实地调查,采用比较系统分析方法,探讨媒介视域下影响农业科技传播因素的有效组态路径.文章针对农村科技传播中存在的因信息服务不对称、信息服务平台基础建设薄弱导致农民个性化需求无法满足、科技信息综合服务功能较弱等问题,提出通过重视乡村农民科技文化知识的培养、加强乡村科技网络设施建设、提升科技信息内容价值、拓宽科技传播渠道,提高科技信息传播能力,推动农业科技信息的有效传播,促进农业科技振兴.