Group Transformer：實現輕量級的字符級語言模型

GROUP-TRANSFORMER: TOWARDS A LIGHTWEIGHT CHARACTER-LEVEL LANGUAGE MODEL INTRODUCTION 本文介紹了一種用於字符級語言建模的輕量級轉換器。我們的方法是一種因式分解方法，它使用分組線性操作來分離transformer架構中的標準線性層，並在線性轉換之間進行稀疏連接。該模型受到羣卷積方法的啓發，被稱爲Group Trans

>>阅读原文<<