基于FDOD的Web用户分类新算法(英文)

了解用户的行为与特征对网站的设计与维护非常重要,分析网站日志可有效获取Web的访问信息.提出一种利用对网站日志文件的分析实现Web用户分类的新算法.首先对日志文件进行数据筛选及事务识别,构建出一个链接网络图;然后利用页面之间的链接关系定义评估页面之间相似性的新指标,合并相似的页面,形成一个压缩链接图;使用FDOD对链接图中的链接路径进行分类.实验表明,该分类算法具有易于使用、响应迅速以及准确性高等优点。     

数据可视化研究综述

数据可视化对于从海量数据中发现规律、增强数据表现、提升交互效率具有重要作用。目前,数据可视化的概念及相关研究领域不断扩展,就数据类型而言,可视化研究逐渐聚焦于多维数据、时序数据、网络数据和层次化数据等领域。通过对中国知网（CNKI）中外文文献进行分析可知：2014年、2015年是数据可视化领域研究热度升级、理论成果大量产出的“里程碑”式年份;中国大数据领域研究热潮形成后,数据可视化是迅速发展的一个重要支撑领域;国内外数据可视化领域的研究,在时间上基本同步,而武汉大学、浙江大学、北京邮电大学、国防科技大学、电子科技大学等都是在该领域研究活跃度较高的国内高校。要获得良好的视觉效果,帮助用户降低理解难度,高效分析数据和洞悉价值,通常还需要注意色彩与语义、突出核心数据、防止数据过载、防止思维过度发散等技术要点。现有的数据可视化技术主要分为基于几何技术、基于图标技术、基于降维技术、面向像素技术、基于时间序列技术、基于网络数据技术的数据可视化方法,以及层次可视化技术和分布技术等。基于几何技术的可视化方法,包括平行坐标、散点图矩阵、Andrews曲线等。基于坐标的可视化方法,可以清晰展示变量间的关系,但受限于屏幕尺寸,当数据维度超过3个时,难以直观显示全部维度,需要结合人机交互技术进行展示,适用于表达不同维度之间的相关关系,比如学生学习行为之间的关联关系等。基于图标的可视化方法,主要包括星绘法和Chernoff面法,以几何图形作为图标刻画多维数据,直观反映出图标各个维度所表示的意义,适用于工作完成情况、激励工作进度概览等。基于降维技术的可视化方法,根据维度属性确定点的坐标,在保持数据关系不变的前提下映射到低维可视空间中,主要涉及主成分分析、自组织映射、等距映射等。基于时间序列的可视化方法,是一种显示数据间相互关系和影响程度的可视化方法,主要包含线形图、堆积图、地平线图等,随着时间发展采集相应数据,并利用上述3类可视化方法进行呈现,适用于表示信息数据流动和变化状态,如不同时间段成绩流向趋势分布、主题概念的变迁等。基于网络数据的可视化方法,核心是自动布局算法,通过自动布局与计算绘制成网状结构图形,主要有力导向布局、圆形布局、网格布局等,常用来表示大规模社交网络结构,适用于活跃度分析、引文关系展现等。层次可视化技术,主要包括节点链接、空间填充、混合方法等,通过绘制不同形状的节点和包围框来表示层次结构的数据,适用于表示群组成员间交互关系的发现和挖掘,如在线协作员工之间的交互。基于CNKI,通过对数据可视化研究情况的分析,提出数据可视化研究过程中的注意点,指出数据可视化需要重点考虑色彩的匹配,在色彩与数据内容的重要度之间建立关联;可视化方案应在满足业务需求的基础上以业务逻辑为依据,合理组合与应用相关可视化技术;统一的可视化风格有助于提升人们理解数据的连贯性、一致性和效率,兼顾用户的审美要求,在风格与色彩之间建立合理的匹配关系;数据可视化应以实用、合理、高效地表现关键过程、关键目标、关键结果为主要面向。此外,对可视化应用实例Echarts展开综述,包括Echarts 交互组件（markPoint和markLine标注点组件、dataZoom区域组件、图例交互组件）在可视化中的应用,以及动态数据绘制等。最后,对可视化存在的挑战以及未来研究方向进行了分析和展望,指出虚拟现实、可视化系统和数据分析是可视化未来的研究方向,其应用热点领域还包括统计可视化、新闻可视化、思维可视化、社交网络可视化和搜索日志可视化等。     

信息可视化研究综述

信息可视化是可视化技术在非空间数据领域的应用,可以增强数据呈现效果,让用户以直观交互的方式实现对数据的观察和浏览,从而发现数据中隐藏的特征、关系和模式。可视化应用非常广泛,主要涉及领域:数据挖掘可视化、网络数据可视化、社交可视化、交通可视化、文本可视化、生物医药可视化等等。根据CARD可视化模型可以将信息可视化的过程分为以下几个阶段:数据预处理;绘制;显示和交互。根据SHNEIDERMAN的分类,信息可视化的数据分为以下几类:一维数据、二维数据、三维数据、多维数据、时态数据、层次数据和网络数据。其中针对后4种数据的可视化是当前研究的热点。多维数据可视化方法主要包括基于几何的方法、图标方法和动画方法等。基于几何的可视化方式中最经典的就是"平行坐标系"方法。平行坐标系(parallel coordinates)使用平行的竖直轴线来代表维度,通过在轴上刻划多维数据的数值并用折线相连某一数据项在所有轴上的坐标点展示多维数据。平行坐标系方法能够简洁、快速地展示多维数据,发展出很多改进技术。但是当数据集的规模变得非常大时,密集的折线会引起"视觉混淆"(visual clutter),处理方法包括维度重排、交互方法、聚类、过滤、动画等。其他基于几何的方法包括Radviz方法使用圆形坐标系展示可视化结果;散点图矩阵(scatter plot matrix)将多维数据中的各个维度两两组合绘制成一系列的按规律排列的散点图。基于图标的可视化方法用具备可视特征的几何形状如大小、长度、形状、颜色等刻划数据,代表性的方法包括星绘法和Chernoff面法等。动画方法用于可视化中可被用来提高交互性和理解程度,其缺点包括可能分散注意力、引起用户的误解、产生"图表垃圾"等。时间序列数据是指具有时间属性的数据集,针对时间序列数据的可视化方法如下:线形图、堆积图、动画、地平线图、时间线。层次数据具有等级或层级关系。层次数据的可视化方法主要包括节点链接图和树图2种方式。其中树图(treemap)由一系列的嵌套环、块来展示层次数据。为了能展示更多的节点内容,一些基于"焦点+上下文"技术的交互方法被开发出来。包括"鱼眼"技术、几何变形、语义缩放、远离焦点的节点聚类技术等。网络数据具有网状结构。自动布局算法是网络数据可视化的核心,目前主要有以下3类:一是力导向布局(force-directed layout);二是分层布局(hierarchical layout);三是网格布局(grid layout)。当数据节点的连接很多时,容易产生边交叉现象,导致视觉混淆。解决边交叉现象的集束边(edge bundle)技术可以分为以下几类:力导向的集束边技术、层次集束边技术、基于几何的边聚类技术、多层凝聚集束边技术和基于网格的方法等。其他研究热点包括图形的视觉因素研究、自适应可视化研究、可视化效果的评估等。视觉因素对于可视化效果的影响,如位置、长度、面积、形状、色彩等影响已经引起很多研究者的注意。色彩是视觉因素的重要组成部分,研究主要集中在颜色选择的原则和交互系统中。这些原则基于数据类型、类的数量、认知约束等。自适应可视化可以提高信息可视化的适应性。研究成果分为以下几类:自适应可视化展示、自适应资源模型、自适应用户模型。自适应可视化展示是指根据用户的特征自动为用户提供多种展示类型,自动选择可视化内容及布局的形式,自动调整可视化的元素等。自适应资源模型反映了对硬件和软件的利用以提高可视化性能。自适应用户模型通过显示用户模型的内容并让用户能够编辑,从而让用户能够控制模型的内容。当前关于信息可视化评价的研究较少,少量研究也没有提出直接和通用的可视化的评估方式,需要对信息可视化评价的理论基础、方法和应用做深入的研究。可视化技术与应用还应该继续向以下4个方面努力:直观化、关联化、艺术化、交互化。信息可视化技术的发展方向是协同(collaboration)、分析过程(analytics)、计算(computational)和意会(sense-making)。未来研究方向可以包括以下几个内容。信息可视化和数据挖掘的紧密结合。为提高处理海量数据时的速度和效率和解决视觉混淆现象;必须运用数据挖掘的公式和算法,对数据分析的过程及结果进行可视化展现。协同可视化。协同可视化领域的研究方向可以包括可视化接口设计、基于Web的可视化协同平台开发、协同可视化工作的视图设计、协同可视化中的工作流管理及协同可视化技术的应用等。更多领域的应用技术开发。包括统计可视化:需要研究使用几何、动画、图像等工具对数据统计的过程和结果进行加工和处理的技术;新闻可视化:对新闻内容进行抓取、清洗和提取和可视化展示;社交网络可视化:可视化方式显示社交网络的数据,对社交网络中节点、关系及时空数据的集成展示。搜索日志可视化:针对在使用搜索引擎时产生的海量搜索日志,可视化的展现用户的搜索行为、关系和模式等。     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

基于模型堆叠的上网行为日志用户画像方法

上网行为日志数据中包含着大量的用户个性化信息,如何充分挖掘和分析这些信息至关重要。在分析上网行为日志数据的重要性后,提出了一种基于上网行为日志用户画像方法。在该方法中,首先通过特征选择和特征提取方式构建用户特征集,然后利用模型堆叠的技术组合多种单一分类器,构建用户画像模型。利用校园网行为日志数据对性别、年级、年龄三个维度进行用户画像,实验结果表明了所提方法的有效性。     

面向大数据的政府舆情监测分析可视化模型与方案设计

从大数据可视化分析的视角,审视了政府舆情监测分析工作,以解决新形势下舆情服务质量及效率提升的问题;通过对舆情监测分析主体、环境、手段、呈现形式的现状进行探讨,设计了政府舆情监测分析可视化模型与可视化方案;指出政府舆情监测分析可视化概念体系包含机理层、模型层、应用层、支撑层4个层次;以监测信息为信息分类对象,选取单指标推动力结构模型为可视化数据结构表达模型;将舆情分析指标设定为舆情总量、舆情推动力、舆情增速及百分比;通过数学公式将舆情总量及推动力指标按照维度分解到从节点的推动力、增速与百分比上;将舆情总量与分解后的一级维度和二级维度进行叠加制定建模方案;选择静态数据以多视图关联交互为可视化方案的呈现形式.     

社会网络数据的可视化

为直观地分析社会群体网络, 观测社会群体行为, 提出了社交网络数据的可视化分析方法。该方法将社会关系网络描绘成由点和线组成的图, 再对图形中的节点分布位置、节点的大小以及点线密度等进行有效分析。运用在线社会网络数据可视化分析技术, 结合python 可视化与python 科学计算技术, 增强了网站的吸附性, 获得了较好的用户体验。     

基于大数据技术的高校图书馆电子资源访问日志分析

传统图书馆电子资源访问日志工具采集周期长、处理效率低下,无法支持高校图书馆大规模电子资源的日志采集和分析需求。大数据技术为图书电子资源的访问日志分析提供了值得借鉴的方法和手段。本文研究了一种采用Web日志工具LogStash和Elasticsearch设计实现的高校图书电子资源访问日志的实时采集和快速查询分析方法;给出了日志采集的大数据工具的选择、索引的建立方法,以及日志分析的处理流程,文中采用Kibana工具实现日志可视化分析。     

通话网络的分析度量方法

论述了3种通话网络分析方法:数据统计分析法、可视化关系图分析等、基于PageRank算法的精确度量法。首先简要介绍最常见的数据统计分析法,并在一个简单的测试数据集上,给出了应用实例。该方法的优点是有利于对数据做精确统计计算,但缺点是不便于分析数据之间的关联关系,并且分析结果展现形式也不直观。然后采用可视化关系图分析软件来分析实例中的数据,以弥补数据统计分析法的不足,能够得到更加直观的定性观测分析结果。最后提出采用PageRank算法对可视化关系图做精确定量计算,得到各个节点的权值,从而判断出节点的重要性。这对于解决可视化关系图结果过于复杂、不利于人工观察分析的问题很有效。     

基于网络数据的企业知识图谱可视化

知识图谱也被称为科学知识图谱,可以揭示复杂知识领域的动态发展规律.基于自然语言处理技术从海量Web数据中抽取命名实体及命名实体关系,从而构建企业知识图谱.设计并实现了一种基于知识图谱的可视化分析方法,在网络图中融入集合可视化,从全局和细节两个层次进行可视分析,构建了企业知识图谱可视化分析平台.通过案例分析表明,该可视化研究方法满足用户对相关数据的可视化分析.     

面向云平台安全监控多维数据的离群节点自识别可视化技术

通过总结目前云平台安全监控的数据可视化技术,结合具体的多维监控数据探讨可视化技术的应用方法,从时间、节点号、性能指标类型三个维度出发,提出了基于维度压缩与维度切面的性能数据集可视化方法,并在此基础上,应用动态时间规划和卷积神经网络实现离群节点自识别,丰富扩展了警报系统的语义。经实验验证方法可行,能够更直观地展现有效信息,提高云管理员的决策效率。     

Hyperbolic技术及其在海洋环境质量评价与分析中的应用

Hyperbolic技术解决了大型层次数据在有限显示区域内的可视化问题.本文对Hyperbolic层次可视化技术进行了深入研究并加以实现,同时将Hyperbolic技术应用于某省各海域的海洋环境质量评价与分析中,对海量的、层次节点繁多的海洋统计与监测、环境评价与分析结果数据进行交互可视化,便于海洋管理者获取海洋环境质量的总体信息,从而进行更好的分析与决策.     

Spark日志整合与FCM-DNN的网络流量分析算法

为了解决网络设备类型划分粒度粗,导致网络流量无法准确分类的问题,提出了一种基于Spark日志集成与FCM-DNN的流量分析算法。首先,该方法使用Spark集成会话日志以获取可分析的结构化数据;然后对同一网站的行为数据进行聚类,提取网站的多类簇特征集合,以解决单个会话连接特征维度较少、特征相似且不平衡的问题;最后,构建DNN网络,将统一化后的聚类特征与原始特征结合进行训练,并从聚类分组长度和损失函数等多个方面进行算法优化。仿真实验结果表明,对于特征较少的会话日志数据,该算法有效提高了网站分类的准确性,同时在保留学生上网特征的前提下将日志压缩了700倍,从而节省了存储开销。     

社群网络中基于链接分类的研究与应用

由于在互联网、电信、生物信息、社会网络分析等领域可获得的链接丰富的数据日益增多,链接挖掘已经成为数据挖掘的研究热点。基于链接分类是链接挖掘的一个重要方向。在此以电信领域用户通话特征数据为对象,研究了基于链接分类技术及其在电信客户流失预测的应用方法,在提取并分析大规模客户呼叫图的极大团、结点膨胀率、结点聚集度等与节点稳定性相关的链接属性及其时变特征的基础上,提出了一种适合海量数据的基于链接的电信客户流失预测算法。实验结果表明,此算法较传统分类算法能提高客户流失预测性能,实现了基于链接分类方法的成功应用。     

面向可视分析的比特币交易地址去重算法研究

比特币是一种基于区块链的加密货币,其因具备匿名性而常被用于异常交易活动中,使得交易者的行为不容易被分析出来。因此,通过有针对性的数据可视化方法对数据进行呈现,以便于对某些实体的活动保持更加全面的了解仍然是一项挑战。作者提出了一种比特币地址去重算法,解决了比特币交易过程中出现的地址复用现象所产生的环状数据结构问题。该方法按照时序性计算了交易发起方和接收方地址节点的出现次数并记录节点状态,每当发现重复使用的地址便会更新当前地址节点状态,并用此最新状态进行覆盖,从而保证处理后的交易数据中不存在地址重复使用的问题,降低了数据可视化的难度。然后使用桑基图这一数据可视化方法结合处理后的数据有效地展示了一些交易行为并对其进行分析。实验证明了文中方法的可行性和准确性。     

基于可视化分层递阶表示模型的社会和谐评价方法

以中国城市和谐发展指数为例,提出了一种多维数据的分层递阶表示模型,它具有鲜明的可视化特点。应用该模型对41个城市的和谐发展进行整体评价分析,实现了社会和谐多维数据分层信息融合的评价和评价结果的可视化,为社会科学的定量研究提供了一种新方法。基于多元图的可视化信息融合不仅给出系统整体状态的定量表达,而且可以从不同层次图形的几何形状确定评价指标的优劣程度。     

基于Flume的网络安全可视化系统

随着互联网使用者的快速增长,网络安全问题也不断增多.传统的基于日志的入侵检测系统在处理海量信息时存在着实时性不足,认知负担过重等缺点.本文提出了一种基于Flume的网络安全日志可视化方法,利用Flume处理日志信息的高效性,实时收集网络安全日志,结合数据可视化方法,挖掘隐藏的网络异常信息.与传统的基于数据库存储的安全分析相比,提高了数据处理的实时性,能够更直观的展现网络网络异常.     

采用时间度量的半监督链接预测方法

提出了一种采用时间特征的半监督链接预测方法.该方法将链接预测问题视为机器学习中的二类分类问题.针对网络稀疏的问题,方法使用了半监督学习技术,利用网络中大量未连接的节点对辅助已连接节点对进行训练.针对网络中链接动态出现的问题,方法添加了若干时间特征来描述节点对.在现实数据集DBLP和Enron中的实验表明,该方法与未采用时间特征或者未使用半监督技术的链接预测方法相比,均具有更高的预测准确率.     

面向5G通信基站管理系统性能评估的测试用例分布规律研究

针对通信基站管理系统目前多采用融合人工经验的测试方法，无法模拟长周期且发生时间合理的测试用例问题，提出了一种基于基站告警日志的测试用例建模方法。首先，以基站日志产生时间间隔为研究对象，从数据整体、设备类型、日志类型、设备和日志类型等维度分析发现日志产生时间间隔服从幂律分布的规律；然后，对比分析最小二乘法、极大自然估计与最大后验估计3种不同的参数估计算法，以估算误差为依据，发现最小二乘法的拟合度更高且残差最小，拟合优度与平均绝对百分误差的平均值分别为0.96和3.5%;最后，采用最小二乘法对日志时间间隔进行幂指数估算，保留局点拟合优度大于0.7的告警组成测试用例。该模型应用于全国多个不同城市通信基站的告警日志间隔分布估算，实验结果表明：所提模型可以实现85%以上日志分布规律计算，为编排贴近实际运行环境的测试用例奠定基础，进一步提升测试结果的可靠度。     

一种面向时序数据的交互式可视化系统

在科学、经济、工程、工程等各领域,每时每刻都产生大量时序数据.挖掘多维时序数据中蕴含的相关性特征和周期性规律,是可视分析领域研究的重点.本文在总结了过往案例和可视化方法的基础上,提出了一种称为时序螺旋的可视化交互系统.该系统基于时间粒度和时间原语的概念进行设计,旨在通过可视分析的方法,挖掘数据维度之间的相关性关系和周期性规律.时序螺旋综合了年轮图、族线等多种周期性数据可视化布局方法,并辅以多种交互模型互为补充.最后以实际数据集的分析案例展示了我们的方法在探索和理解多维时序数据的有效性.