RNN變體之dropout

問題 RNN在迭代運用狀態轉換操作「輸入到隱狀態」實現任意長序列的定長表示時，會遭遇到「對隱狀態擾動過於敏感」的困境。 dropout dropout的數學形式化: y=f(W⋅d(x)) , 其中 d(x)={mask∗x, if train phaseing(1−p)x,otherwise p 爲dropout率，mask爲以1-p爲概率的貝努力分佈生成的二值向量 rnn dropout 改變

>>阅读原文<<