Spark集群下基于关联规则的产品加工质量分析

工业大数据的有效应用成为支撑企业转型升级的强力引擎。利用关联规则可以从海量产品加工过程质量数据中发掘加工工序质量参数之间的隐含相关性,如果能对具有相关性的上游质量指标进行及时有效的监控和调整,将有效地减少质量指标之间的误差传播、耦合与积累对各工序质量监控点配置决策的影响。针对传统的关联规则挖掘时空复杂度和I/O代价高,难以适应大数据处理的问题,以及传统Hadoop分布式平台的计算和数据管理方式导致的高数据频繁读写代价,提出了一种基于Spark计算平台的并行频繁项集挖掘HBPFP(High Balanced parallel Fp-Growth)算法,该算法利用新定义的节点计算量预估模型,实现了各计算节点间计算任务的均衡分组,从而有效地提高了集群资源利用率;并在详细分析产品工艺流程和质量管理特点的基础上,构建了基于关联规则的加工质量控制模型;最后以冷轧辊生产加工过程为应用案例,设计与实现了基于关联规则的冷轧辊加工质量分析原型系统,为制造企业在大数据时代实现全面质量控制和管理,提供了新的解决途径和决策支持手段。