NLP論文解讀：Generating Long Sequences with Sparse Transformers

OpenAl提出了一種適用於文本、圖像和語音的稀疏Transformer，將先前基於注意力機制的算法處理序列的長度提高了三十倍。 對複雜高維度的數據分佈進行估計一直是非監督學習領域的核心問題，特別是針對像文本、語音、圖像等長程、相關性數據更使得這一領域充滿了挑戰。同時，對於複雜數據的建模也是非監督表示學習的關鍵所在。 近年來，神經自迴歸模型在這一領域取得了一系列十分優秀進展，針對自然語言、原始音頻

>>阅读原文<<