推薦系統與Attention機制——詳解Attention機制

什麼是Attention機制？ Attention機制的本質來自於人類視覺注意力機制。人們在看東西的時候一般不會從到頭看到尾全部都看，往往只會根據需求觀察注意特定的一部分。 簡單來說，就是一種權重參數的分配機制，目標是協助模型捕捉重要信息。具體一點就是，給定一組<key,value>，以及一個目標（查詢）向量query，attention機制就是通過計算query與每一組key的相似性，得到每個k

>>阅读原文<<