pytorch系列 -- 9 pytorch nn.init 中實作的初始化函數 uniform, normal, const, Xavier, He initialization

本文内容：

1. Xavier 初始化

2. nn.init 中各種初始化函數

3. He 初始化

torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init

1. 均勻分布

torch.nn.init.uniform_(tensor, a=0, b=1)

服從~ U ( a , b ) U(a, b) U(a,b)

2. 正太分布

torch.nn.init.normal_(tensor, mean=0, std=1)

服從~ N ( m e a n , s t d ) N(mean, std) N(mean,std)

3. 初始化為常數

torch.nn.init.constant_(tensor, val)

初始化整個矩陣為常數

val

4. Xavier

基本思想是通過網絡層時，輸入和輸出的方差相同，包括前向傳播和後向傳播。具體看以下博文：

1. 為什麼需要Xavier 初始化？

   文章第一段通過sigmoid激活函數講述了為何初始化？

   

   簡答的說就是：

• 如果初始化值很小，那麼随着層數的傳遞，方差就會趨于0，此時輸入值 也變得越來越小，在sigmoid上就是在0附近，接近于線性，失去了非線性
• 如果初始值很大，那麼随着層數的傳遞，方差會迅速增加，此時輸入值變得很大，而sigmoid在大輸入值寫倒數趨近于0，反向傳播時會遇到梯度消失的問題

其他的激活函數同樣存在相同的問題。

https://prateekvjoshi.com/2016/03/29/understanding-xavier-initialization-in-deep-neural-networks/

是以論文提出，在每一層網絡保證輸入和輸出的方差相同。

2. xavier初始化的簡單推導

https://blog.csdn.net/u011534057/article/details/51673458

對于Xavier初始化方式，pytorch提供了uniform和normal兩種：

• torch.nn.init.xavier_uniform_(tensor, gain=1)

  均勻分布 ~ U ( − a , a ) U(-a,a ) U(−a,a)

  其中， a的計算公式： a = g a i n × 6 f a n _ i n + f a n _ o u t a=gain \times \sqrt{ \frac{6}{fan\_in +fan\_out}} a=gain×fan_in+fan_out6​

  ​

• torch.nn.init.xavier_normal_(tensor, gain=1)

  正态分布~ N ( 0 , s t d ) N(0,std) N(0,std)

  其中std的計算公式：

  s t d = g a i n × 2 f a n _ i n + f a n _ o u t std= gain \times \sqrt{\frac{2}{fan\_in+ fan\_out}} std=gain×fan_in+fan_out2​

  ​

5. kaiming (He initialization)

Xavier在tanh中表現的很好，但在Relu激活函數中表現的很差，所何凱明提出了針對于Relu的初始化方法。

Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification He, K. et al. (2015)

該方法基于He initialization,其簡單的思想是：

在ReLU網絡中，假定每一層有一半的神經元被激活，另一半為0，是以，要保持方差不變，隻需要在 Xavier 的基礎上再除以2

也就是說在方差推到過程中，式子左側除以2.

pytorch也提供了兩個版本：

• torch.nn.init.kaiming_uniform_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)， 均勻分布 ~ U ( − b o u n d , b o u n d ) U(−bound,bound) U(−bound,bound)

  其中，bound的計算公式：

  bound = 6 ( 1 + a 2 ) × fan_in \text{bound} = \sqrt{\frac{6}{(1 + a^2) \times \text{fan\_in}}} bound=(1+a2)×fan_in6​

  ​

• torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’), 正态分布~ N ( 0 , s t d ) N(0,std) N(0,std)

其中，std的計算公式：

std = 2 ( 1 + a 2 ) × fan_in \text{std} = \sqrt{\frac{2}{(1 + a^2) \times \text{fan\_in}}} std=(1+a2)×fan_in2​

​

兩函數的參數：

• a

  ：該層後面一層的激活函數中負的斜率(預設為ReLU，此時a=0)

• mode

  ：‘fan_in’ (default) 或者 ‘fan_out’. 使用fan_in保持weights的方差在前向傳播中不變；使用fan_out保持weights的方差在反向傳播中不變

針對于Relu的激活函數，基本使用He initialization，pytorch也是使用kaiming 初始化卷積層參數的