量化入門

變成128個負數，一個0,127個正數（用補碼的規則） 非結構化的剪枝（比如只是把某些值置爲0），在gpu上並不會有性能的提升 數值的選擇性減少了，網絡的表達能力可能會有比較大的下降 量化精度和範圍之間的權衡 均勻or非均勻量化 反轉的問題： 梯度不匹配 比如求出來的h已經不能用4bit表示 得到輸出值後要重新用P來重新量化一遍 而P和Q都是階梯函數，在大量位置的梯度都是0，所以對P,Q求梯度得到

>>阅读原文<<