Feature Normalization

Batch Normalization

在实践中，对 $z$ 或者 $a$ 做 normalization 都有，影响并没有那么大。对于 $s i g n o i d$ ，先做会好一些，因为 0 处斜率大，可以有效拉开不同 dimension 的差异

所以这一步会导致，一个输入和所有输出都关联，相当于一个巨大的网络，收到一批输入，给出一批输出。
在实际中，我们不可能计算所有样本的标准化，所以一般是在一个 batch 内做，因此得名Batch Normalization。在 Batch Size 比较大的时候更有效。

实际情况中，会再后面再进行一点变换，防止 normalization 抹除了维度间均值和大小的差异，降低网络表达能力。初始时， $γ$ 为全 1 向量， $β$ 为全 0 向量，然后作为神经层的学习参数，自主学习修改。

$μ_{B} = \frac{1}{m} \sum_{i = 1}^{m} z^{(i)}$

$σ_{B}^{2} = \frac{1}{m} \sum_{i = 1}^{m} (z^{(i)} - μ_{B})^{2}$

$\tilde{z}^{(i)} = \frac{z ^{(i)} - μ _{B}}{σ _{B}^{2} + ε}$

$\overset{z}{^}^{(i)} = γ \tilde{z}^{(i)} + β$

EMA，指数滑动平均

Norm	统计维度	是否用 batch	train / test 行为
BatchNorm	$N \times H \times W$ （按 C）	是	不同
InstanceNorm	$H \times W$ （按 N,C）	否	一样
LayerNorm	$C \times H \times W$ （按 N）	否	一样
GroupNorm	$G \times H \times W$	否	一样