Pytorch學習筆記

1. 最好不要有in-place操做， 可能會影響到求導部分，並且並不會減小太多的存儲

2. 支持相似於numpy的broadcasting  tensor 乘法

3. 數據讀取很是方便，按照要求arrange 好文件夾就能夠了ImageFolder 和DataLoader

4. 通常都是在__init__初始化一些網絡參數， relu這種沒參數的Function都是在forward裏面調用的，若是想要快速構建網絡，能夠使用nn.Sequential在__init__裏面初始化，它是默認就會帶有nn.relu的，這樣的話在forward階段就能夠很簡單的構建整個網絡了。