學界 | OpenAI 發佈稀疏計算內核，更寬更深的網絡，一樣的計算開銷

作者：楊曉凡 概要：OpenAI 的研究人員們近日發佈了一個高度優化的 GPU 計算內核，它可以支持一種幾乎沒被人們探索過的神經網絡架構：帶有稀疏塊權重的網絡。 OpenAI 的研究人員們近日發佈了一個高度優化的 GPU 計算內核，它可以支持一種幾乎沒被人們探索過的神經網絡架構：帶有稀疏塊權重的網絡。取決於不同的稀疏程度，這些內核的運行速度可以比 cuBLAS 或者 cuSPARSE 快一個數量級

>>阅读原文<<