torch.backend.cudnn.benchmark

大部分狀況下，設置這個 flag 能夠讓內置的 cuDNN 的 auto-tuner 自動尋找最適合當前配置的高效算法，來達到優化運行效率的問題。

 

通常來說，應該遵循如下準則：

1. 若是網絡的輸入數據維度或類型上變化不大，設置 torch.backends.cudnn.benchmark = true 能夠增長運行效率；
2. 若是網絡的輸入數據在每次 iteration 都變化的話，會致使 cnDNN 每次都會去尋找一遍最優配置，這樣反而會下降運行效率。