移位量化(對數量化)

原文鏈接:https://www.yuque.com/yahei/hey-yahei/shift_quantization 移位量化也可以稱爲對數量化,將數值從浮點數的形式量化爲一個整數或定點數,但它與線性量化不同,兩個相鄰數之間是在以2爲底的對數域上均勻分佈的,這使得實際推理當中可以直接通過移位運算來快速實現,同時也擁有隨比特數增長而指數增長的大動態範圍。 移位量化既可以只量化權重(對激活值移位
相關文章
相關標籤/搜索