Keras實現Self-Attention

本文轉載自：http://www.javashuo.com/article/p-emaavzcm-b.html 1、Self-Attention概念詳解 對於self-attention來說，Q(Query), K(Key), V(Value)三個矩陣均來自同一輸入，首先咱們要計算Q與K之間的點乘，而後爲了防止其結果過大，會除以一個尺度標度其中  爲一個query和key向量的維度。再利用Soft

>>阅读原文<<