基于缓存开销的信息中心网络缓存协作策略

网络化缓存策略影响ICN网络的传输性能,考虑到缓存执行时的开销不仅包含访问缓存节点时的路径代价,还应包含替换旧信息的替换代价,因此提出一种基于路径访问代价和节点替换代价的缓存协作策略(path and node cost based cooperative caching strategy, 简称PNC3S).该策略对两种代价进行整体考虑,将代价总量作为是否进行信息与节点匹配缓存的依据,对提出的策略模型进行优化分析,将最优解作为缓存部署方案.实验结果表明,与CEE,LCD策略相比,PNC3S可以改善网络的信息缓存率、服务器的负载率、网络链路平均利用率,以及访问跳数减少率.     

一种基于t-分布随机近邻嵌入的文本聚类方法

文本数据具有高维、稀疏、海量的特性,给传统的聚类算法带来了极大挑战.提出一种基于t-分布随机近邻嵌入(t-Distributed Stochastic Neighbor Embedding,t-SNE)的文本聚类方法.首先通过t-SNE将高维文本数据嵌入到低维空间,使得高维空间相似度较低的文本对应的映射点距离较远,而相似度较高的文本对应的映射点距离较近;然后根据低维空间映射点坐标,再采用传统的聚类分析算法进行聚类,得到最终的聚类结果.在多个基准文本数据集上进行了实验测试,验证了该方法的有效性.     

元胞机制下机坪机会网络缓存控制策略

针对机坪感知机会网络中节点缓存空间的限制导致的数据拥塞问题,提出元胞演化规则下机坪机会网络缓存控制策略(ACER).建立基于节点拥塞度的路由通信模型,对节点拥塞度进行判断,在拥塞度较低节点中进行基于概率的数据路由通信,对于拥塞度较高的节点使用元胞自动机的消息丢弃策略,有效地缓解了因数据拥塞产生的网络投递率低等问题,使节点负载均衡地进行数据传输.基于机会网络环境(ONE)仿真平台,采用天津滨海国际机场地图来进行试验,进行不同节点数量下、不同缓存空间下的算法性能分析.结果表明,在机坪网络仿真环境中,不同节点数量以及不同缓存空间下,相对DY、DL缓存管理策略,ACER投递率最高提高97%,网络开销最多可降低70%,并且传输时延具有一定程度的改善.     

K近邻的自适应谱聚类快速算法

谱聚类算法建立在谱图划分理论基础上,与传统的聚类算法相比,它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。然而,谱聚类算法涉及如何选取合适的尺度参数σ构造相似度矩阵的问题。并且,在处理大规模数据集时,聚类的过程需要较大的时间和内存开销。研究从构造相似度矩阵入手,以传统NJW算法为基础,提出一种基于K近邻的自适应谱聚类快速算法FA-SC。该算法能自动确定尺度参数σ;同时,对输入数据集分块处理,并用基于K近邻的稀疏相似度矩阵保存样本信息,减少计算的内存开销,提高了运行速度。通过实验,与传统谱聚类算法比较,FA-SC算法在人工数据集和UCI数据集上能够取得更好的聚类效果。     

自动确定聚类中心的移动时间势能聚类算法

移动时间层次聚类(Travel-Time based Hierarchical Clustering,TTHC)是一种新的势能聚类算法,尽管具有较好的聚类效果,但是该算法需要人工设定聚类数目,而且在分配样本的时候仅根据相似度,忽略了距离和势能的影响.针对以上问题,提出一种自动确定聚类中心的移动时间势能聚类算法.首先计算每个数据点的势能和相似度,然后根据相似度确定数据点的父节点,得到数据点与父节点的距离;然后,根据数据点与父节点的相似度、距离和数据点的势能得到综合考量值,根据综合考量值自动确定聚类中心;最后,将剩余数据点分配到比其势能小且与其相似度最大的数据点所属类簇,得到聚类结果.将新算法与TTHC算法进行比较,在人工数据集和真实数据集上的实验结果表明,新算法不仅能够自动确定聚类数目,而且采用了更优的分配机制,可以产生更好的聚类结果.     

物联网中时间驱动的ICN缓存机制研究

在物联网架构设计中采用信息中心网络(information centric networking,ICN)的思想将非常有利于提高信息与数据的传输效率,但现有的ICN缓存机制难以满足物联网用户对信息准确度的要求,尤其是在时间维度上的严格要求.针对这一问题,利用ICN基于内容名命名的方式和内置缓存的特性,提出了一种新的能应用于物联网的时间驱动的普适性缓存方案,创新地在兴趣包和数据包中添加用于精确匹配的时间戳字段.研究了一种时间匹配算法,目的是向消费者返回满足时间容忍阈值的内容,依据内容流行度和时间请求概率,对到达节点的数据包做出缓存决策,通过仿真验证所提方案的有效性.与用户驱动的信息新鲜度机制相比,时间驱动的普适性缓存方案有效地提高了缓存命中率和信息获取的准确率.     

基于弹性分布数据集的海量空间数据密度聚类

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并分配数据,使得网格内数据量相对均衡,达到平衡运算节点负载的目的;接着,提出一种适用于并行计算的局部密度定义,并改进聚类中心的计算方式,解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷;最后,通过网格内及网格间聚簇合并等优化策略,实现了大规模空间数据的快速聚类处理.实验结果表明,借助Spark数据处理平台编程实现算法,本方法可以有效实现大规模空间数据的快速聚类,与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.     

MapReduce框架下基于抽样的分布式K-Means聚类算法

提出一种MapReduce框架下基于抽样的分布式K-Means聚类算法,解决海量数据环境下并行执行K-Means算法时,时间开销较大的问题.该算法使用抽样方法,在保证数据分布不变的前提下,对数据集的规模进行约减,并在MapReduce框架下对聚类算法进行优化.实验结果表明,该算法在保持良好聚类效果的同时,能有效缩短聚类时间,对大规模数据集具有较高的执行效率和较好的可扩展性.     

一种基于流形距离核的谱聚类和量子聚类融合算法

谱聚类是一种基于图谱划分理论的聚类算法,本质上是将聚类问题转化为图的最优划分问题;量子聚类可以充分挖掘数据样本的内在信息,是一种基于划分的无监督聚类算法.为了充分发挥谱聚类算法和量子聚类算法的优势,本文提出了一种基于流形距离核的谱聚类和量子聚类融合算法(MFD-NJW-QC).首先,计算数据集的流形距离核矩阵,构造相应的拉普拉斯矩阵;其次,根据拉普拉斯矩阵的若干最大特征值对应的特征向量构造新数据集,并使用量子聚类算法对新构造的数据集进行聚类,从而得到原始数据的类标签;最后,基于7个人工数据集和5个UCI数据集验证MFD-NJW-QC算法的聚类性能.结果显示,MFD-NJW-QC算法能够明显提高聚类性能,尤其对于具有流形结构,且类簇大小不平衡、密度分布不均匀的数据集优势更为突出.     

利用SSO加速最佳路径森林聚类的网络入侵检测

针对网络入侵检测系统中的一般聚类算法速度较慢和精度较低的问题,提出了一种基于简化群优化的最优路径森林聚类算法(SSO-OFC).首先,将数据集解析为图,将其节点作为样本;然后,将每个样本连接到其给定特征空间中的k-近邻,图的节点由它们的概率密度函数(pdf)值加权得到;最后,通过样本及k-近邻之间的距离计算得到pdf值.提出的算法主要贡献是快速估计最佳k值,并将最优路径森林聚类应用于网络入侵检测.在5个公开的数据集上进行实验.结果表明,SSO-OFC的精度非常稳定,除了KddCup数据集,其他数据集上的精度都在95%以上,相比基于数据聚类的SSO和自组织映射更加稳定有效.     

无线多跳网络中基于网络编码的高效可靠组播路由算法

针对现有的多跳无线网络中基于网络编码的可靠组播算法,节点在数据恢复阶段存在冗余的控制开销和编码包的冗余传输问题,提出一种基于网络编码的高效可靠组播路由算法(high-efficiency reliable multicast routing algonthm based on network coding,HMNC).该算法通过采取在数据恢复阶段用组播树上游节点的反馈信息替代下游节点的冗余反馈信息以及新增节点缓存机制等措施达到减小网络控制开销和降低数据的平均恢复时延的目的.理论分析和仿真结果表明,与基于网络编码的可靠组播(network coding reliable multicast,NCRM)算法相比,HMNC算法在节点数据的平均恢复时延、网络控制开销等方面的性能均得到了提升.     

基于聚类选取参考节点的改进型网络距离预测机制

随着大规模的分布式网络应用对网络主机间距离信息的需求,深入研究了基于虚拟坐标的IP网络距离预测机制.在基于固定landmarks的网络坐标系统中,普通主机通过测量到所有landmarks的距离来计算自己的坐标,其中landmarks的个数将影响到系统的距离预测准确度和测量开销.网络坐标系统(network coordinate system,NCS)综合了Vivaldi和GNP的优势,具有良好的网络距离预测性能,然而它没有讨论landmarks的选取问题.因此.提出一种改进型网络距离预测算法-INCS,该算法首先选定网络中的一组主机作为landmarks,然后按照land-marks之间的相互距离对其进行聚类,最终从每个聚类中按照所提出的策略选择一个节点作为普通主机的实际参考节点.仿真结果表明:与NCS算法相比较,INCS算法在牺牲0-24%(根据90%相对误差)预测准确度的情况下,能够大大减小系统的测量开销;同时INCS可以使参考节点的选择灵活化,分散参考节点处的负载,从而提高系统的稳定性.     

一种基于Seeds集和成对约束的主动半监督聚类算法

针对半监督聚类算法中监督信息使用不充分,监督信息中信息含有量低的问题,提出一种结合主动学习的半监督聚类算法.首先结合使用数据的类别标记和成对约束信息,指导Kmeans聚类过程,设计出一种基于Seeds集和成对约束的半监督聚类算法SC-Kmeans;其次将主动学习算法引入到SC-Kmeans中,以尽量小的代价选取信息含有量更高的监督信息,提高SC-Kmeans算法的聚类精度;最后在UCI标准数据集上进行仿真实验.实验结果表明,该算法取得了较好的聚类效果,有效提高了聚类准确率.     

基于核心点的大数据谱聚类算法

针对谱聚类性能优异但因计算复杂度太高而无法应用于大数据的问题,提出一种将谱聚类应用于大数据的新算法.首先,基于数据相似性与随机抽样选取核心点集,并利用核心集对大数据分组;然后在核心集上应用谱聚类;最后综合核心集的聚类结果和数据的分组信息完成大数据聚类.该算法既将谱聚类推广到大数据,又通过核心点选取降低了噪声及异常数据的影响.实验充分验证了推广后的谱聚类应用于大数据的高效性.     

基于聚类选取参考节点的改进型网络距离预测机制

随着大规模的分布式网络应用对网络主机间距离信息的需求,深入研究了基于虚拟坐标的IP网络距离预测机制。在基于固定landmarks的网络坐标系统中,普通主机通过测量到所有landmarks的距离来计算自己的坐标,其中landmarks的个数将影响到系统的距离预测准确度和测量开销网络坐标系统(network coordinate system, NCS)综合了Vivaldi和GNP的优势,具有良好的网络距离预测性能,然而它没有讨论landmarks的选取问题因此,提出一种改进型网络距离预测算法—INCS,该算法首先选定网络中的一组主机作为landmarks,然后按照landmarks之间的相互距离对其进行聚类,最终从每个聚类中按照所提出的策略选择一个节点作为普通主机的实际参考节点。仿真结果表明:与NCS算法相比较,INCS算法在牺牲0～24%(根据90%相对误差)预测准确度的情况下,能够大大减小系统的测量开销;同时INCS可以使参考节点的选择灵活化,分散参考节点处的负载,从而提高系统的稳定性。     

基于约束信息的并行k-means算法

为获得分布式数据集上用户所期望的聚类结果,提出了基于约束信息的并行k-means聚类算法.在分析并行k-means能够有效实现对水平分布式数据集进行聚类的基础上,修改并行k-means算法的目标函数,设计约束并行k-means算法,将站点用户的约束信息以chunklet的形式引入到分布式聚类过程,从而引导算法执行有偏搜...     

一种基于粗糙均方残基的模糊双聚类方法

双聚类作为一种无监督的学习方法,其作用是对基因表达数据进行分析.为了获取较大容量的双聚类簇,弥补传统的双聚类方法在基因表达数据一致波动性方面的不足,引入粗糙集的上、下近似集概念,将粗糙集理论运用到模糊双聚类算法中,将粗糙上、下近似集与加权均方残差相结合,得到新的粗糙均方残基,进而提出一种基于粗糙均方残基的模糊双聚类算法.针对基因表达数据集,首先进行缺失值填补;其次,用非负矩阵分解算法对基因数据集进行降维;最后,计算数据矩阵的粗糙均方残基,结合综合评判度量函数与贴近度原则对矩阵的行列进行删除和添加,得到容量更大的双聚类结果.实验结果表明,该模糊双聚类算法是有效的.     

基于异构融合和判别损失的图嵌入聚类

针对自动编码器仅对单个数据所包含的内容信息进行特征提取,忽略了数据之间结构信息的问题,提出一种基于异构融合和判别损失的深度图聚类网络.首先,将两个自动编码器获取的异质信息进行融合,解决了采用单一自动编码器提取特征时的信息丢失问题;其次,在聚类训练模块基于类内分布一致性设计判别损失函数,使模型可以端到端地训练,避免了两阶段训练方法中出现特征提取与聚类算法提前假设不匹配的情况;最后,在6个常用数据集上进行实验并验证了该方法的有效性.实验结果表明,与现有的大多数深度图聚类模型相比,该方法在非图数据集和图数据集上的聚类性能有明显提升.     

基于MapReduce和改进人工蜂群算法的并行划分聚类算法

针对大数据背景下基于划分的聚类算法中存在参数寻优能力不佳、初始中心敏感、数据倾斜等问题,提出一种基于MapReduce和人工蜂群(artificial bee colony,ABC)算法的并行划分聚类(the partitioning-based clustering algorithm by using im-prove artificial bee colony based on MapReduce,MR-PBIABC)算法.首先,提出基于反向学习和聚类准则函数的初始化策略(backward learning and the clustering criterion function,BLCCF),提升人工蜂群算法搜索的解质量,并将ABC算法和人工鱼群(artificial fish colony,AFS)算法结合,提出改进人工蜂群(improve artificial bee colony,IABC)算法,通过利用AFS算法最优解能力较强的特性,来提高ABC算法的寻优能力;其次,根据改进的人工蜂群算法IABC获取初始聚类中心,提出相对熵策略(rela-tive entropy strategy,RES)衡量人工鱼间的距离,保证获得的初始聚类中心是最优人工鱼状态,从而有效避免了随机选取初始聚类中心,引起的初始中心敏感的问题;再次,设计数据均衡策略(data balancing strategy,DBS),通过动态收集节点负载并分配节点间的负载,解决了节点上数据倾斜的问题;最后,结合MapReduce计算模型,并行挖掘簇中心,生成最终聚类结果.实验结果表明,MR-PBIABC算法的聚类效果更佳,同时在大数据环境下,能有效地提高并行计算的效率.     

低秩张量分解的多视角谱聚类算法

针对传统多视角学习算法只关注从多视角中提取共享信息而忽略了各视角的特有信息和高阶关联的问题,提出了一种基于截断核范数的低秩张量分解的多视角谱聚类算法。计算各视角的样本相似度矩阵和转移概率矩阵,构建一个包含各视角马尔可夫转移概率矩阵的张量,从而保留各个视角的信息。采用基于张量奇异值分解的截断核范数约束目标张量的秩。通过最小化张量截断核范数,学习到一个既包含各个视角共享信息又具有高阶关联的张量。利用迭代最优化算法求解目标函数,将求得的目标张量输入谱聚类算法得到聚类结果。在4个不同类型数据集上进行实验并与传统聚类算法进行了对比,结果表明:所提算法在4个数据集上的标准互信息度量值比标准谱聚类算法的分别提高了7.9%、24.9%、29.5%、8.1%,比LT-MSC算法的分别提高了3.4%、18.1%、17.6%、6.6%。通过对非负平衡参数在0.000 1～100之间的测试发现,所提算法表现基本稳定,在非负平衡参数取0.1～1之间表现良好。与传统多视角聚类算法相比,所提算法可有效增强各视角之间的互补性和高阶关联,并且具有良好的准确性和鲁棒性。