pytorch中的鉤子Hook)作用

   pytorch對於中間變量,一旦它們完成了自身反傳的使命,就會被釋放掉。 因此,hook就派上用場了。簡而言之,register_hook的作用是,當反傳時,除了完成原有的反傳,額外多完成一些任務。你可以定義一箇中間變量的hook,將它的grad值打印出來,當然你也可以定義一個全局列表,將每次的grad值添加到裏面去。 至於register_forward_hook和register_bac
相關文章
相關標籤/搜索