来源：期刊VIP网 时间：
作者：蒙玉功;
单位：广西码农信息科技有限公司;
摘要：分布式深度学习中的计算节点需要频繁地与服务器进行梯度数据交换，从而产生较大的通信开销。针对上述问题，文中提出一种基于样本重要性的分布式深度学习通信优化策略。主要包括三个设计内容：首先，通过验证性实验探索数据样本的重要性分布；其次，通过交叉熵损失评估数据样本的重要性；最后，结合网络状态感知机制，以端到端的网络时延作为网络状态的反馈指标，计算节点动态调整传输梯度的压缩比，在保证模型收敛的同时减少网络通信量，进而提高分布式深度学习的训练效率。实验结果表明，所提方法在不同规模的分布式训练场景下能够有效提高通信效率。与现有的梯度压缩策略相比，所提方法最多可以减少40%的分布式训练时间。
关键词：分布式深度学习;;随机梯度下降;;样本重要性;;交叉熵;;网络状态感知;;动态压缩
