2020李宏毅學習筆記——353.Network Compression(4_6)

4.Parameter Quantization（參數量化） less bits 一個很直觀的方法就是使用更少bit來存儲數值，例如一般默認是32位，那我們可以用16或者8位來存數據。 weight clustering（權重聚類） 最左邊表示網絡中正常權重矩陣，之後我們對這個權重參數做聚類（可以用kmean），比如最後得到了4個聚類，那麼爲了表示這4個聚類我們只需要2個bit，即用00,01,1

>>阅读原文<<