PyTorch 學習筆記（四）：權值初始化的十種方法

pytorch在torch.nn.init中提供了常用的初始化方法函數，這裏簡單介紹，方便查詢使用。 介紹分兩部分： 1. Xavier，kaiming系列； 2. 其他方法分佈   Xavier初始化方法，論文在《Understanding the difficulty of training deep feedforward neural networks》 公式推導是從「方差一致性」出發，初

>>阅读原文<<