基于Spark的DA算法并行化研究

在对大规模数据进行蜻蜓算法优化时,由于要计算的维度过多,迭代次数过大,从而耗费大量运算时间,而基于Spark分布式计算可以减少大数据运算的耗时。将DA算法在Spark分布式计算平台下进行并行计算,把蜻蜓种群被分配到各个节点,每节点中蜻蜓个体信息通过多线程并行更新,然后共享全局最优解,从而提高大规模数据优化的运行速度。最后仿真实验的验证是由4个测试函数进行测试,验证结果显示:在保证正确率的前提下,基于Spark的DA算法在对大规模数据优化的计算用用时最少。     

基于Spark的并行医学图像处理研究

随着医学图像规模的不断增长,为了快速且有效的处理医学图像并使各类图像处理算法得到应用.文章将传统的医学图像处理方法与Spark整合起来,提出了基于Spark的并行医学图像处理方法.首先,采用基于二进制的图像预处理转换方法,存储图像到分布式文件系统HDFS中;其次,应用传递函数的方法,避免了图像处理算法进行MapReduce转化,实现了快速的通用图像并行处理;最后,以肺叶DR图像分割算法为实例证明了基于Spark医学图像并行处理有较好的适应性和较高的效率,并适应大规模图像的并行处理.     

基于数据依赖关系的程序自动并行化方法

针对目前大量串行遗产程序无法在高性能并行计算机上高效运行的问题,提出一种基于数据依赖关系分析技术的程序自动并行化方法,采用数据依赖关系分析技术对串行程序进行分析,将串行程序中基本块分成两类:彼此间具有依赖关系的基本块和彼此间无依赖关系的基本块,通过对无依赖关系的基本块进行并行处理实现串行程序的自动并行化,从而解决了在对串行程序自动并行处理时开销增大的缺点,并得到较好的并行优化结果.实例分析结果表明,该方法可以识别出可并行执行的基本块,实现串行程序的自动并行化.     

基于Spark框架的大数据K-prototypes聚类算法

大数据具有数据量大及混合类型的属性,基于MapReduce的K-prototypes并行大规模混合数据方案的缺点是时间和内存的限制,导致这些方案不适合处理大数据.为了解决这个问题,该文提出一种新的基于Spark的k-prototypes聚类方法,该方法使用了重新聚集技术,利用Spark框架的内存操作来构建大规模混合数据分组.在模拟和实际数据集上的实验表明,该文方法可行,且提高了现有K-prototypes方法的效率.     

基于五维调度算法的并行设备车间调度方法

针对并行设备作业车间调度问题,提出一种五维调度算法(FDA),并将FDA与遗传算法在实验中进行比较,最终证明了FDA的调度结果设备利用率更优,运算速度更快。     

基于Verilog-HDL的微机并行数据传送

介绍了微机并行打印口的基本构成，从系统结构、逻辑框图、时序图及打印口控制等多个方面，详细阐述了用并行打印口实现并行数据传送基本方案，并且给出了实现该方案的Verilog—HDL描述。     

基于Spark框架的电网运行异常数据辨识与修正方法

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于Spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在此基础上结合并行K-means算法对数据进行二次聚类实现异常数据辨识;然后,在Spark框架下设计了基于径向基函数(RBF)神经网络的异常数据修正模型,实现对异常数据修正。最后,利用某省调度中心SCADA数据对方法的有效性进行了验证,结果表明所提方法能够有效处理电网运行异常数据,具有实际应用价值。     

基于SIDWT和迭代自一致性的快速并行成像重建方法

为提高并行磁共振成像的重建速度,基于平移不变离散小波变换(SIDWT)和迭代自一致性并行成像重建(SPIRiT)模型,提出一种高效的重建方法fSIDWT-SPIRiT.该方法针对含有数据一致项、校正一致项和L1范数正则项的复杂优化问题,首先将数据一致项和校正一致项进行合并处理,之后利用快速投影迭代软阈值算法进行求解以实现快速并行磁共振成像重建.最后,在不同人体器官的数据集上进行测试.仿真实验结果表明：与其他方法相比,该方法能够在保证图像重建质量的同时,具有更快的收敛速度.     

Spark框架下交通流数据高效处理方法及其应用

设计并实现基于Spark的交通流数据处理与预测分析应用框架, 可以完成交通流数据的高效清洗、统计、存储和查询。利用基于多阶空间权重矩阵的STARIMA模型进行交通流预测分析, 可以验证数据处理效率及对预测应用的支撑作用。对比实验结果表明: 1) 交通流数据处理框架运行效率高, 适用于复杂的数据清洗和挖掘算法, 为预测模型建立数据支撑; 2) 交通流预测模型对空间权重矩阵进行了多阶优化, 兼顾高效性和准确性, 预测分析结果可以为交通诱导提供参考。     

Spark框架下混合SACS-GS的大数据清洗方法

提出一种Spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了Spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策略,通过线性递减概率规则将两种策略结合起来,形成自适应搜索策略,避免种群早熟和提高收敛速度,然后引入自适应发现概率,提高种群的多样性. SACS算法混合GS算法得到SACS-GS方法,该方法通过引力搜索算法的局部搜索能力来确定自适应布谷鸟算法的全局范围,并找到使卵生长和成熟的最佳解决方案,有效地识别大数据中的错误数据.实验结果表明, SACS-GS方法具有较高的大数据异常检测精度,且精度高于其他现有方法,处理时间低于其他方法.     

基于内存映射的地震道集数据存取

针对地震数据处理中存在的数据交换效率低的问题,在分析传统地震数据文件存取基础上,提出一种基于内存映射的方法对地震数据处理.通过实验结果分析,基于内存映射的地震道集数据的存取效率高于传统方法近3倍,其中以全局方式映射地震道集数据耗时最短、效率最高.基于内存映射的地震道集数据存取有效的解决了这一问题,提高了在地震资料处理过程中的效率.     

基于地震地质模型的高分辨率处理方法

根据层序地层学理论并利用钻井、测井和地震已知信息 ,对油田和探区的地震层序模型进行了研究 ,建立了有效的地震地质模型。将地震地质模型用于地震资料的联合反演 ,提高了地震资料的分辨率。这种基于地震地质模型的高分辨率处理方法能补偿地震记录的高频成分并拓宽低频成分 ,有效地扩展了信号的有效频带。在提高分辨率的同时 ,改善了资料的信噪比 ,从而提高了用地震时间剖面解决地质问题的能力。     

基于任务量划分的紧嵌套循环自动并行化方法

采用计算任务量大小的方法,解决了在紧嵌套循环自动并行化过程中存在循环并行化的并行粒度确定问题以及循环自动并行化中数据划分的数据访问局部性问题,在多核系统中实现了紧嵌套循环自动并行化时的数据访问局部性方案和并行化方法,从而构造了一个基于任务量划分的循环自动并行化模型,降低了程序自动并行化中小任务量并行带来的开销.     

基于改进泊松碟采样的地震数据重构

测量矩阵是压缩感知中一个重要的因素,不同的测量矩阵在不同的条件下重构出的效果会不一样,而且在整个重构过程中起着重要的作用。地震勘探中由于实际情况的影响使得压缩感知中测量矩阵的使用有所限制。针对地震勘探实际情况,结合jitter采样和泊松碟采样的优点,提出了一种改进的泊松碟采样方法,泊松碟采样并没有受到规则网格的约束,这里改进的泊松碟采样是基于规则网格的条件,结合jitter方式,避免了对空间采样点的浪费和克服了间距过大的缺点,同时提高了采样效率,针对野外的实际情况可以调节检波器的布置位置。目前,在一些领域,如图像重构、信号处理等,高斯随机测量矩阵都得到了广泛应用并且其重构效果都很好,但在地震勘探中,由于受到现有检波器的限制,高斯随机测量矩阵并不符合地震勘探的条件。这里,模拟数据和实验数据都表明改进的泊松碟采样方式能够和广泛应用的高斯随机测量矩阵一样取得较好的重构效果,并且代替高斯随机测量矩阵在地震勘探中取得实际应用。     

利用共偏移距共反射面元叠加提高叠前地震资料质量

提出利用部分共偏移距共反射面元(CO CRS)叠加提高稀疏低信噪比叠前地震资料质量。通过多参数的COCRS旅行时公式计算得到部分叠加的CRS超道集,对数据进行规则化,以利于以后的常规处理如速度分析、叠前偏移等。模型试算和实际资料处理结果表明,与原始地震数据相比,对经过部分CO CRS叠加处理后的叠前数据进行偏移,不仅提高了偏移剖面的信噪比,同时改善了同相轴的连续性,获得了较好的成像结果。     

基于网格技术的地震资料并行处理平台建设与应用

针对地球物理勘探领域海量数据处理需求和行业高性能资源整合需求,结合地震资料数据并行处理特征,利用网格技术建设应用网格分布并行处理平台,详细介绍平台的体系结构和关键技术,成功部署包含两个虚拟社区的应用网格平台。进行Marmousi模型地震波场正演模拟网格并行处理、基于模糊聚类作业划分策略的叠前深度偏移并行处理、积分法叠前时间偏移并行处理。验证了平台的稳定性和并行作业划分策略的有效性,平台效率与传统并行处理平台相比效率相当。结果表明,利用该平台可以进一步整合更多高性能资源,扩大并行处理规模,提高资源的利用率,缩短数据处理周期。     

利用4D地震数据校正储层静态模型的集合卡尔曼滤波方法

储层静态模型是利用已知数据,结合先验性认识对未知储层空间进行插值预测,由此得到的结果与实际生产观测数据以及4D地震观测数据之间存在较火差异.基于集合卡尔曼滤波方法,通过观测数据反推系统模型的状态向量,对储层静态模型加以校正使得校正后的储层静态模型和观测数据之间差异最小化.选择4D地震属件差异作为观测数据,通过合理地抽取观测点,提高了运算效率.模型试验表明,校正后的静态模型能够较好地反映储层非均质性,并且与4D地震数据有较好的一致性.     

基于光栅双目视觉的手掌重构与实现

针对手部掌形的表皮纹理复杂性和弹性易形变等特点,提出了一种以光栅式双目三维视觉技术对手部掌形模型进行重构及实现的方法。首先对左右侧相机的属性参数和相对位置进行标定,并利用多方位光栅扫描的图像作优化拼接,再对海量原始数据点云进行编辑、三角形和曲面片化处理,最后实现手部掌形模型的数控模拟和实际加工验证。试验结果表明,采用高精度的非接触式测量能快速完成逆向实物加工,该方法具有借鉴和应用价值。