電子科大提出BT-RNN:替代全連接操作而大幅度提升LSTM效率

優秀的 ResNet 和 DenseNet 等 CNN 架構試圖繞過巨大而繁瑣的全連接層,但改進 RNN 全連接式的線性變換仍然只有有限的研究。這篇電子科技大學提交 CVPR 2018 的論文正提出了一種稀疏性的張量表徵,它相對於傳統的 LSTM 不僅減少了多個數量級的參數,同時還實現了更好的收斂率與訓練速度,機器之心對該論文做出了簡要地介紹。 循環神經網絡(RNN)最爲擅長序列到序列的學習,它是
相關文章
相關標籤/搜索