面向图片识别的深度学习模型并行优化方法

针对机器学习中的图片识别问题，结合已有的图片识别方法，在集群并行系统上对图片识别的并行优化方法进行研究。通过引入参数服务器机制，对分布式随机梯度下降算法中的参数更新机制进行了改进。一方面对Worker节点计算出的梯度进行稀疏化处理，以减少Worker节点和参数服务器节点之间的通信量；另一方面将参数服务器节点向Worker节点发送更新后的模型参数转换为参数服务器节点向Worker节点发送累积的梯度，然后对累积的梯度进行稀疏化处理，以进一步减少Worker节点和参数服务器节点之间的通信量。此外，为了解决由于稀疏化而引起的训练精度损失问题，引入了一种应对动量损失的动量修正方法，以提升图片识别模型的精度。实验结果表明，与基本的异步随机梯度下降算法ASGD相比，本文并行优化方法在3种不同的压缩率下，对深度学习图片识别模型的训练速度平均可提高2.95倍，测试准确率平均提高了4.6%。