OpnAI推出深度神經網絡模型 擁有自我注意力機制

OpnAI近日開發了一套深度神經網絡模型Sparse Transformer，透過改良過的注意力（attention）機制算法，來萃取出更多序列中的模式，進而預測出序列中下一段文字、圖像或是語音，OpenAI指出，在AI研究領域現存的一項挑戰就是，訓練並預測長範圍、不易察覺相互關係的複雜數據，像是圖像、影片或是語音等數據，Sparse Transformer模型加入了自我注意力機制，再加上一些改良

>>阅读原文<<