BERT背景介紹——Attention機制

BERT背景介紹——Attention機制 學習BERT一段時間了,但是還是沒搞懂attention是什麼,今天再來學習一下。 Attention機制 圖片形象化展示了人類在看到一副圖像時是如何高效分配有限的注意力資源的,其中紅色區域表明視覺系統更關注的目標,很明顯對於圖片所示的場景,人們會把注意力更多投入到人的臉部,文本的標題以及文章首句等位置。深度學習中的注意力機制從本質上講和人類的選擇性視覺
相關文章
相關標籤/搜索