谷歌TPU分析之脈動陣列

在之前的博客中，介紹了一種使用脈動陣列計算矩陣乘法的方法，在那篇博客中，脈動陣列的主要特點是：數據從左向右流動，而權重則從上向下流動。而在谷歌第一代的TPU中，其脈動陣列卻並非是這種形式的。 在谷歌的TPU中，權重是預先存儲在 P x ∗ P y P_x*P_y Px​∗Py​個PE上的，並且整個計算過程權重都保持不動，即weight stationary，而數據自左向右流動，同時，每個PE單元的

>>阅读原文<<