有“深度学习之父”与“神经网络先驱”之称的Geoffrey E. Hinton终于在NIPS 2017大会上发表了酝酿已久的一篇关于Capsule的论文《Dynamic Routing Between Capsules》。 摘要Capsule是一组神经元，其活动向量表示特定类型实体或属性的实例化参数。在本文中，使用活动向量的长度来表示实体存在的概率，而其方向表示实例化参数。活跃的Capsule
Detail

Batch Normalization是Google于2015年在ICML论文中提出的一种用于加速深度神经网络训练的一种方法。 在训练深度神经网络时，由于训练过程中每层的连接参数都在通过反向传播不断变化，从而导致每层所学习的输入样本的分布都在发生变化。这种现象被称作Internal Covariate Shift即内部协变量位移，会随着网络的深度增加而放大。内部协变量位移的存在使得在每个训练循环中
Detail