soft / hard attention 機制 理解——機器學習中的soft 和 hard

Soft attention是一種全局的attention，其中權重被softly地放在源圖像所有區域 Hard attention一次關注圖像的一個區域，採用0-1編碼，時間花費較少，但是不可微分，所以需要更復雜的技術來進行訓練   下圖是從果殼網（quora）摘取的一篇回答 即在機器學習中soft 常常表示可微分，比如sigmoid和softmax機制 而hard常常表示不可微分   soft

>>阅读原文<<