關於transformer-xl中rel-shift實現的解讀

  方法 抽象地看，我們要做的事情就是，給定一個矩陣，每行都進行左移，而移動的個數隨行數遞增而遞減。 我目前想到的一種方法是使用gather，將想要的index提前定好，然後使用Pytorch的gather就能夠實現。 而transformer-xl實現了另一種更好的方法：_rel_shift。 def _rel_shift(self, x, zero_triu=False): # x:

>>阅读原文<<