有没有人已经对比过不同的Pytorch的DataParallel方法对模型正确率的影响？正确率下降？

分布式训练是不会影响准确度的，之所以有影响，很可能是因为你的batch size成倍增加，优化器的步长却没有跟着改，这才导致了准确度降低的。

评论里波尔德提到可能没用syncBN，也是一个因素。

如果能正确处理跨batch行为，是不会掉点的