NVIDIA數值不穩定

調用cudnn庫寫卷積運算,同樣的輸入 、卷積核、操作,總能觀測到輸出的微小偏差。 實驗在RTX2080TI上進行 輸入: shape爲:[1,3,10,10] 卷積核: shape爲[3,3,3,3] 第一次輸出爲: 第二次輸出爲: 可以看到第一行第三列數據有微小差異。 因爲是並行運算,同樣的代碼,在硬件上的運行流程每次幾乎都不一樣,所以數值會有微小差異,對於深度學習大多數應用場景,這點差異可以
相關文章
相關標籤/搜索