Information Aggregation via Dynamic Routing for Sequence Encoding

對文本序列進行編碼獲得向量有了很多的工作,而對於如何把前面網絡(RNN/CNN的輸出)獲得的向量進行處理獲得特定長度的向量的工作比較少。通常使用簡單的max/average pooling,是自下而上的,並且消極的信息聚集,缺少特定任務信息的引導。本文中,提出了一個聚集機制,即動態路由機制來獲得固定長度的編碼。動態路由機制動態決定怎樣和如何進行每個詞的信息傳遞。根據capsule網絡的工作,設計了
相關文章
相關標籤/搜索