基于Hive的性能优化研究

主要从Map Reduce作业调度和Hive性能调优两个方面对Hive的性能优化进行研究.对于Map Reduce主要从编程模型切入,分析其执行过程,并从map端、reduce端进行参数调优.接着从Hive框架角度入手,分别从分区表和外部表以及常用数据文件的压缩、行式存储与列式存储等方面进行深入研究.实验结果表明,snappy压缩、orcfile/parquet存储格式对于列式查询,提高查询效率,对于大数据分析平台有较好的兼容性.     

基于DTMF和Internet的双向控制系统的设计与实现

为了提供舒适、便捷、安全的生活环境 ,并且有效利用目前的网络系统对远程家电进行控制以及了解家电的工作状态 ,为人类提供更好的服务 ,提出了一个具体的解决方案     

基于贝叶斯分类的主题爬虫

随着网络的高速发展,其信息资源越来越庞大,面对巨量的信息库,搜索引擎起着重要的作用．主题爬虫技术作为搜索引擎的主要核心部分,计算搜索结果与搜索主题的关系,该关系被称为相关性．一般主题爬虫方法只计算网页内容与搜索主题的相关性,作者所提主题爬虫,通过链接内容和锚文本内容计算链接的重要性,然后利用贝叶斯分类器对链接进行分类,最后利用余弦相似函数计算网页的相关性,如果相关值大于阀值,则认为该网页与预定主题相关,否则不相关．实验结果证明：所提出主题爬虫方法可以获得很高的精确度．     

基于信息增益的中文网页SVM分类研究

针对中文网页文本分类中特征降维方法和传统信息增益方法的缺陷和不足做出优化改进,旨在有效提高文本分类效率和精度.首先,采取词性过滤和同义词归并处理对特征项进行初次特征降维,然后提出改进的信息增益方法对特征项进行特征加权运算,最后采用支持向量机(SVM)分类算法对中文网页进行文本分类.理论分析和实验结果都表明本方法比传统方法具有更好的性能和分类效果.     

关于色散方程的一类三阶显格式

构造了一类求解色散方程Ｕｔ＝ａｕｘｘ的双参数显格式,其截断误差阶是Ｏ（τ＋ｈ）＾３并分析了格式的稳定性。     

浅析小接地电流系统单相断线故障

在电网系统中,中低压的配电网络的线路铺设范围较广,并且其线路分支较多,在电能传输的过程中,通常需要通过环境较恶劣的区域,这使得线路在运行的过程中,出现单相断线故障的概率比较大,在实际的配电网络运行过程中,一旦出现单相断线故障,将会对整个配电网络的正常运行产生严重的影响,导致巨大的经济损失,并对用户的正常供电产生影响,因此,对小接地电流系统的单相断线故障进行有效的分析是非常必要的,这对于系统中单相断线故障发生率的降低具有积极的作用.     

web日志挖掘中会话识别方法

通过对传统web会话识别方法分析和比较,改进了目前最常用的基于时间阈值会话识别方法,提出了一种基于动态阈值会话识别方法,该算法采用动态计算会话中请求记录间的平均时间间隔和动态计算会话中页面的平均大小相结合的方法,根据用户和网页的特点动态调整阈值,相对于传统单一的先验阈值,该方法可以根据不同的用户访问不同的页面生成动态的阈值,充分运用用户和网页信息.经过实验验证,该方法可以识别出更多的用户会话,且识别会话的准确率和查全率也比传统算法更高.     

知网、HNC和框架网的语义知识表示异同

语义知识的表示和使用是自然语言处理的重要方面.知网从描述词语之间的关系以及属性之间的关系入手建立了中文词语语义知识的表示方法.HNC设计了语义概念基元和语句基元,形成了自然语言的概念空间,用基元描述语句理解处理中知识.不同于以上两种方法.框架网则是根据单词的不同的义项对应不同的语义框架,用不同的语义唤醒激活不同的框架,从而理解词语的语义.在此比较了三者在语义知识表示方面的异同.     

基于用户行为特征的手机端身份识别研究

基于智能手机用户在输入身份验证密码和滑动触摸屏过程中的个人独特行为特征,提出了两种身份验证方案,将单类支持向量机(OCSVM)算法应用到身份验证模型中,采用网格搜索算法获取模型的最优参数.实验结果显示两种身份验证方案都具有较好的泛化能力和验证精度,身份的验证过程不会干扰正常的用户操作.