因子分析开发步骤及R语言程序代码实现

因子分析是主成分分析的推广,是多元统计分析降维的一种方法。为了简化步骤,采用R语言编写因子分析的相关统计量。因主成分分析是因子分析的推广,故同时进行主成分分析法的程序开发。     

非线性广义相关系数及其R语言实现

为了克服以往的相关性指标所存在的线性相关性和信息损失的问题,以期为实际应用工作提供一种新的多变量间的非线性相关分析方法.本文采用四阶矩法,提出一种用于描述变量间或向量间的相关性程度的广义相关系数,且该广义相关系数计算简单,无信息损失,并能度量变量之间的非线性相关性.并用R语言编写该函数包,便于应用工作者使用,且丰富了R语言中的函数包.     

分布式电能质量信息系统设计与实现

 分布式电能质量信息系统是指采用了分布式技术设计和实现的电能质量信息系统。建设电能质量信息系统是提高电能质量、保证电网安全供电的重要方法。传统的电能质量监测系统包括数据采集、数据计算和数据分析子系统。随着监测点数量的迅速增加,各子系统的工作负荷成倍增加,导致系统效率低下。由于系统处理能力的束缚,系统中允许的监测点数量受到限制,迫切需要解决电能质量信息系统的性能瓶颈问题。本文采用分布式体系结构进行设计,即用分布式处理系统进行数据采集,用分布式数据库进行数据存储,用分布式计算进行数据计算,用WebService接口封装数据访问,经济、有效地提高了系统的处理能力和响应速度,解决了服务器负荷上限问题,满足了供电公司未来大量增加监测点的需求。     

分布式流处理系统的时间感知分组算法

随着对实时数据流处理需求的增加,分布式流处理系统的发展也越来越受到关注。大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战。目前已有的分布式流处理分组策略通常关注并行实例之间元组数量的均衡性,而忽视了系统异构性对分组策略造成的影响。该文提出了一种时间感知分组算法,通过对分布式流处理系统存在的网络异构性和处理能力异构性的分析,综合考虑流处理系统中各下游算子实例的处理时间以及上游算子与下游算子之间的通信时间,并根据键值的频率不同制定不同的路由策略,在较小的开销下使系统达到负载均衡。在Apache Flink分布式流处理系统上进行的实验结果表明：时间感知分组算法比已有的分组算法在系统吞吐量上提高了10%,在平均处理延迟上降低了33%。     

面向视频处理的高效二维流存储系统

为了解决高度并行的视频处理中存储系统的瓶颈问题,设计了一种高效的基于流的二维存储系统.该系统完成了二维逻辑空间到物理上多路并行存储器模块的映射.在二维逻辑空间中的每一个数据阵列都可以根据给出的基地址、二维偏移量、长度、数据粒度来进行灵活的流访问.数据在物理存储器上进行了交织存放以支持行阵列和列阵列的同时访问.该交织算法在之前的交织算法基础上做了面向流访问的改进.实验结果表明,在实时视频处理中,所述的二维流存储系统可以减少平均约32.0%的存储器访问率,以及25.4%的实时处理所需要的时钟周期数.     

基于GPU的关系型流处理系统实现与优化

现有的基于CPU的流处理系统在功能上已支持在大规模数据集上的复杂分析查询,但由于CPU计算能力与特性的限制,无法在性能上同时满足高吞吐量和低响应时间的要求.本文提出一种基于GPU的流处理系统框架Serval,通过充分利用CPU-GPU异构资源,实现了关系型流查询的高效处理.Serval框架采用流水线模型和流执行缓存技术以优化吞吐量和响应时间,并实现多种调优策略以适应不同场景.实验表明,单节点Serval的吞吐量与响应时间性能均优于现有GPU数据库MapD和三节点分布式服务器上的Spark Streaming.     

基于R语言的风廓线雷达产品数据简单处理

风廓线雷达产品数据在气象上应用广泛,对其产品数据资料的分析、处理和可视化十分重要.本文利用免费的开源软件R语言,对雷达资料产品数据进行批量读取、计算和绘图.展示了R语言在处理风廓线雷达资料的特点：简洁、易学.     

新一代城市交通流分布式实时控制系统的研究与实现

开发出新一代城市交通流控制系统即ＳＴＣ，它采用先进的分布式多任务并发实时在线系统的体系桔构，具有分布式多Ａｇｅｎｔ计算模型的特性，在系统实用性、实时性、可靠性、可维护性、可扩充性等方面具有更高的性能，能支持多种自适应实时控制策略．实际运行结果表明，该系统与国内外同类系统相比更能适应我国的城市交通情况，取得了很好的综合效益．     

基于Spark的合成孔径雷达压缩感知分布式成像

压缩感知(compressive sensing,CS)方法在合成孔径雷达(synthetic aperture radar,SAR)成像中应用广泛,但其存在计算时间长和计算能力扩展性不足等问题.为了解决上述问题,提出了一种基于Apache Spark的SAR压缩感知成像分布式成像方法.该方法首先将压缩后的数据沿方位角...     

分布式流处理系统中基于位置感知的操作共享优化算法

针对流数据规模大、 基本数据处理操作有重叠等特点, 提出一种基于位置感知的操作共享优化算法. 假设操作预先分配了计算节点资源, 在保证流处理实时性和动态性的基础上, 利用多个流数据作业间拓扑结构和操作功能的相似性, 基于DAG图匹配方法建立操作共享备选集; 以输出带宽为约束条件, 建立一个操作共享收益优化
问题模型, 解决了流处理过程中传统操作共享方法对集群的输出带宽影响考虑不充分的问题. 仿真实验结果表明, 该方法较原有算法更充分地考虑了计算节点制约因素, 并提高了共享收益, 从而可有效地节省系统计算资源.     

电力系统状态估计的分布式并行处理

基于传统的状态估计算法，结合等式约束优化问题，提出了在计算速度、数值精度上显著提高的分布式并行算法，且以PVM为软件平台对验证系统进行了模拟计算。结果表明了该算法的有效性。     

透明存取和数据库并行操作的分布式系统模型

提出一个支持并行处理和透明存取的分布式系统模型,并讨论数据分布策略和支持为数据库并行操作的数据组织方法,这一计算模式适宜于“企业级”分布式网络信息系统的设计与建议。     

分布式分组共享数据对象管理系统的设计和实现

研究和开发基于网络的并行程序设计语言是并行领域的主要研究方向之一。介绍了基于工作站网的管理分组共享对象系统,该系统能对以共享数据对象模式实现虚拟共享存储的并行程序设计语言提供仍力的支持。     

并行计算在分布式环境下的一种实现方法

介绍了一种并行计算的实现方法．通过在顺序程序中加入两种进程操作原语，用户就能使其应用程序在分布式环境下并行执行，从而提高速度．     

分布式监控系统的设计与实现

针对集中式监控系统和客户/服务器体系结构的不足,提出了一种基于小型组合式电源设备系统的分布式监控系统的设计方法,为了适应不同控制设备的需求,系统实现了动态定制设备数据结构和参数类型.讨论了系统的连接方式及通信协议,介绍了数据采集、动态设备数据结构定制、设备调控和状态查询等功能及实现.     

一种局域网分布式文件系统的设计与实现

介绍了基于局域网的分布式ＵＮＩＸ操作系统（ＨＺＤＵＮＩＸ）中分布式文件系统的设计与实现技术．ＨＺＤＵＮＩＸ分布式文件系统主要集中于对ＵＮＩＸ内核的改造,提供本地及远地文件操作一体化的接口,采用基于代理的分布式文件服务技术,有较快的响应速度,从而较好地实现了透明性,并支持原ＵＮＩＸ大多数ＳＨＥＬＬ命令     

一种基于数据处理的脚本语言设计与开发

在飞行试验型号任务中,通常采用各种数据处理软件进行数据采集、解码、单位转换、计算等。通过实践检验和积累,相关数据处理软件就会固定下来;随后发现很难再次高效运用它们。简述了脚本语言和试飞数据处理的结构和过程,提出利用脚本语言进行数据处理的自控模式。用户通过编写脚本代码,运行解释器就可控制数据处理软件进行自动、连续操作。模拟试验表明,该方法可有效提高型号试飞数据处理速度、降低出错率、保障质量安全。     

一个高速分布式的数据采集系统结构

介绍了一个基于VME总线的用Transputer连网的高速分布式数据采集系统结构。该结构具有数据传输率高、模块化和易于扩展的特点,并成功地用于一个双臂强子探测器的读出系统。由于Transputer的引入以及OCCAM软件环境,读出系统可以对主数据流和监视数据流进行并行处理,从而达到在线分析、监测的目的。