#論文 《Towards Binary-Valued Gates for Robust LSTM Training》

前兩週就看到這篇論文的微信號文章介紹了,今天有空拿出來看一下,梳理一下思想。 這個論文主要解決的是在LSTM中,發現記憶門和遺忘門的值的分佈不夠顯著,和LSTM設計思想中想讓門表示記憶或者遺忘的意思不太一致,所以論文作者提出了用一種方法(Gumbel- Softmax estimator)來對門中的閾值進行改進,從而讓閾值更加顯著的趨向0或者1,近似二值化。這樣做有幾個好處: 和設計遺忘門和記憶門
相關文章
相關標籤/搜索