【深度學習筆記】注意力機制

軟注意力機制關注於區域或者通道，軟注意是確定性注意力，是可微的，能夠通過訓練得到注意力權重。 reshape過程： theta：view+permute phi：view g：view+permute 矩陣乘法： f = torch.matmul(theta, phi)

>>阅读原文<<