基于微博信息的关键词库爬虫策略

通过研究对比不同网络爬虫策略的优缺点,提出了基于微博信息的关键词库爬虫策略,利用微博的特性以及数据挖掘算法的优势,生成关键词库指导爬虫模型进行微博信息的获取,解决了主题爬虫模型在数据获取时存在的时序性、正确性以及高效性的问题,提高了微博事件信息的覆盖率和准确率,最后通过设计实验系统Keys Crawler,验证了本文提出的策略的优越性.     

面向集群制造的注塑机开放式模块化设计技术

通过对集群制造系统结构特点的分析,提出了基于产品技术分割和技术模块价值选择的开放式模块化产品设计方法.该方法运用结构映射这一基于技术的功能和基于设计结构矩阵的技术单元聚类,实现了合理的产品技术分割;通过基于量化设计结构矩阵的技术结果关联分析和技术控制力评价实现了科学的技术模块选择;进而形成了面向集群制造的开放式产品模块化设计方法.最后以我国沿海注塑机企业集群为例,阐述了面向集群制造的开放式产品模块化方法的应用.     

产业集群知识图谱构建方法研究

通过探索知识图谱在产业集群的应用，提出了产业集群知识图谱整体设计框架，设计了产业集群知识图谱中实体及其关系本体模型。选取宁波市注塑机产业集群为例，通过互联网平台获取企业数据，经过数据预处理、知识抽取和知识融合，依据本体模型构建了宁波市注塑机产业集群知识图谱，将所构建的所有三元组存储于Neo4j图数据库中。根据所构建的知识图谱，分析注塑机集群整体特性，通过分析发现产业集群在地理位置临近关系上和业务往来有着密切的关系，验证本文提出方法的可行性。     

基于网络爬虫的地理空间信息采集方法

网络环境下地理空间信息的搜集与获取,是地理空间研究信息获取重要途径。网络环境中数据信息量大,主题门类多,如何高效快速地获取地理空间主题信息是一个亟待解决的问题。本研究提出了基于网络爬虫的地理空间主题信息采集方法,该方法能高效自动的采集目标网络上的地理空间信息,提高了地理空间信息采集效率,为进一步建立地理空间主题信息库提供数据支撑。     

面向集群制造的注竣机开放式模块化设计技术

通过对集群制造系统结构特点的分析，提出了基于产品技术分割和技术模块价值选择的开放式模块化产品设计方法．该方法运用结构映射这一基于技术的功能和基于设计结构矩阵的技术单元聚类，实现了合理的产品技术分割；通过基于量化设计结构矩阵的技术结果关联分析和技术控制力评价实现了科学的技术模块选择；进而形成了面向集群制造的开放式产品模块化设计方法．最后以我国沿海注塑机企业集群为例，阐述了面向集群制造的开放式产品模块化方法的应用．     

基于分布式网络爬虫的Web空间 数据获取方法研究

本文针对单机网络爬虫获取Web空间数据在抓取覆盖率和抓取效率上均受到一定程度的限制,难以保证所抓取数据的及时性以及全面性问题,研究了基于分布式网络爬虫的Web空间数据获取方法,设计了基于分布式网络爬虫的Web空间数据获取原型系统并且最终实现,并且通过对原型系统进行相关的测试来证实了本文所提出解决方法的有效性。     

基于特征聚类的光伏集群出力时空随机模拟方法

随着分布式光伏集群的建设和集群控制的需求,不仅需要单个光伏站点的信息,而且需要光伏集群内各站点的综合信息,亟须发展光伏集群出力时空的随机模拟模型.而光伏集群内各站点出力在时间和空间上的相关性,使得光伏集群出力特性的随机模拟模型的准确性不能保证.为此,文章提出了一种基于特征聚类的光伏集群出力时空随机模拟模型.该方法基于k-means特征聚类方法，考虑不同站点出力时空相关性特征,将光伏出力以天气类型划分为4类,并依此构建单站点出力的马尔可夫链的时序模型,利用不同站点间时空的相似性完成对光伏集群的数据模拟,为分布式光伏集群的建设和集群控制提供数据参考.基于河北电网部分实际光伏电站的仿真计算,验证了所提数据模拟方法的正确性和有效性.     

一种基于大数据架构的地震科普资源库的设计和开发

当今时代,愈发庞大的数据难以有效处理运用和管理,需要一种更加合适的资源获取处理方式。该文基于大数据架构结合网络爬虫、数据清洗、信息检索等前沿技术,设计开发了地震科普知识资源库系统。其中运用了J2EE、Python、Hadoop、Elasticsearch、MySQL等技术。通过网络爬虫和人工上传的方式采集地震科普相关信息资源,经过数据清洗转换后对信息资源进行自动分类,最后将资源上传至资源库hdfs分布式文件系统并将文件信息保存至Elasticsearch分布式文件索引系统,由此实现大数据架构下的全文检索。同时,建立资源库的后台管理系统,用于网站的日常管理和维护。相比以前的集群文件系统更加高速便捷、更加的安全稳定。     

基于集群的并行分布式聚类及其应用

海量和高维大数据集的聚类对计算机性能提出了很高的要求.基于具有层次聚类特性的RSOM树方法提供了一种有效的手段以实现对高维大数据集的聚类索引,这种RSOM树可支持最近邻搜索且不需要对数据进行线性搜索.注意到RSOM模型具有内在的层次化、分布式结构特点,并可进行增量的训练,研究了基于高效并行集群的增量、分布式RSOM并行算法,并通过视频图像特征集实例证实了算法的可行性.     

基于信息传递效率的地铁网络小世界特性评价

为了差异化直接相邻和间接相邻的车站对信息传递效率的影响,该文建立了基于信息传递效率的聚类系数模型,构建了地铁网络小世界特性评价方法。通过对全球52个城市的地铁网络样本的小世界特征值计算,得到基于信息传递效率的聚类系数算法的聚类系数值在0.195~0.407之间,平均值为0.29,虽然小于以线路为演化单位的公共交通网络中P空间(Space-of-Stops)下的聚类系数值,仍然远大于相同规模的随机网络聚类系数值(0.01~0.16,平均值为0.06)。故认为基于信息传递效率的聚类系数算法能够更加严格地评价物理网络是否具有小世界特性。在此方法下,52个样本城市地铁网络仍具有小世界特性。