Batch Normalization是Google于2015年在ICML论文中提出的一种用于加速深度神经网络训练的一种方法。 在训练深度神经网络时，由于训练过程中每层的连接参数都在通过反向传播不断变化，从而导致每层所学习的输入样本的分布都在发生变化。这种现象被称作Internal Covariate Shift即内部协变量位移，会随着网络的深度增加而放大。内部协变量位移的存在使得在每个训练循环中
Detail