云计算环境下的动态反馈作业调度算法

针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题,提出一种云计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型,采用单队列多资源池服务窗口的设计思路,将所有作业统一提交到一个支持优先级的排队队列,作业分发控制模块选择优先级最高的作业分发到空闲的资源池窗口执行;Hadoop集群通过自身的心跳机制将作业运行的初始化时间、运行时间等信息传递给参数统计模块进行统计,将获得的平均到达率和平均服务率这两个核心参数的实际值传递给反馈机制模块,根据调度算法模型计算出平均逗留时间和平均队长的理论值并与实际值进行对比,当差值大于阈值时对该调度算法的核心参数进行适当调节使差值收敛于阈值,将具有较大平均逗留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行。实验结果表明:与经典算法相比,该算法具有较高的调度效率和负载平衡能力,作业平均逗留时间比先进先出调度算法和公平调度算法分别减少了57%和19%,平均队长分别减少了50%和37%。     

采用Seq2Seq模型的非受限词义消歧方法

词义消歧在中文自然语言处理中有着重要作用,基于传统机器学习的方法存在准确度不高,需要人工提取文本特征的缺点;基于深度学习的方法不适于词义歧义较多的情况。该文提出采用Seq2Seq模型的非受限词义消歧方法,输入词上下文序列,经过编码器编码得到潜在语义向量,再经过解码器解码输出词义序列,适用于所有词义歧义情况。最后,在SemEval-2007 Task#5任务中进行测试,测试结果表明,该文提出的方法比其他7种方法中的最优方法消歧准确率提高了11.48%。     

融合中文字形和字义的字向量表示方法

字向量表示质量对中文文本处理方法有重要影响。目前,常用中文字向量表示方法Word2Vec、GloVe在很多任务中表现优异,但存在向量质量依赖训练数据集、稳定性差、没有考虑汉字整体字形结构所隐含的语义信息、没有利用字典包含的语言知识等问题。为了克服现有方法的不足,该文首先采用字形自编码器自动捕获汉字字形蕴含的语义,再利用字义自编码器抽取字典包含的稳定字义信息,提出了融合中文字形和字义的字向量的表示方法(Glyph and Meaning to Vector)。结果表明,GnM2Vec在近邻字计算、中文命名实体识别和中文分词三项任务中均取得了较好的结果,在命名实体识别中,F1值较GloVe、word2vec、G2Vec(基于字形向量)分别提高了2.25、0.05、0.3;在中文分词中,F1值分别提高了0.3、0.14、0.33,提高了字向量稳定性。     

基于觉察上下文计算的降低服务成本方法

针对转移法和睡眠法分别存在增加整体服务成本和资源发现速度较慢的缺点，提出了一个基于觉察上下文计算的降低服务成本的方法．该方法先抽象出资源发现与交互协议运行中的上下文，如系统平稳度、时间段、上下文历史，然后确定上下文的获取方法并分析上下文的获取代价，最后根据推理上下文得到的信息有目的地选择合适的方式来降低服务成本，如停止主动广播、睡眠．基于此思想，构建了包含传感器层、中间层、应用层的系统框架．实验结果表明，在最坏情况下，该方法没有增加整体服务成本，较睡眠法而言，它能让“穷”设备多睡眠37．32％的时间，发现资源的速度快15．68％。     

面向汉字矢量图形特征的字向量表征方法

为解决现有中文字向量表征方法中字形特征利用不充分的问题,利用矢量图形的尺度不变性,提出了一种面向汉字矢量图形特征的字向量 (scalable vector graphics to vector,SVG2vec)表征方法。预处理阶段将汉字像素图像转化矢量图形,生成字形矢量坐标对序列;特征学习阶段采用双向循环神经网络 (Recurrent Neural Network, RNN)和自回归混合密度循环神经网络构建矢量图形变分自编码器模型,利用模型学习汉字字形结构特征;向量生成阶段输入字形矢量坐标对序列到编码器,编码器将字形特征映射到概率连续分布空间,得到SVG2vec字向量。与已有字向量在不同层级任务上进行对比实验。结果表明：SVG2vec向量在命名实体识别、中文分词和短文本相似度计算实验中,F1均值比Word2vec、GloVe等未利用字形特征的向量分别提高了1.27、0.4,1.67、0.12,3.28、2.03,比glyph and meaning to vector (GnM2Vec)、Character-enhanced Word Embedding (CWE)等利用字形特征的向量分别提高了1.02、1.07,1.69、1.34,0.04、0.31,SVG2vec能更有效利用汉字字形特征。     

汉字识别中图特征提取方法

为解决图像像素表示汉字特征方法不能有效表示汉字本质特征、空间复杂度较高的问题,提出了一种汉字图特征提取方法。方法主要包含汉字图像二值化,汉字图像骨架提取,汉字图特征提取3个部分;二值化消除图像中的噪声,提高图特征提取的准确度;骨架提取保留图像中重要的像素点,剔除无关的像素点;图特征提取将汉字关键点与图数据结构结合来表示汉字形状特征。在3 908个常用汉字的5种字体上进行实验。结果表明,该方法能够正确提取笔画复杂汉字的图特征,有效表示汉字本质特征;不同字体汉字图特征相同的汉字数量最高为3 195个,方法表现较稳定;平均每个汉字可以用22.6个图节点、19.1个边表示,相较于用单通道图像表示汉字特征,可大幅降低空间复杂度。