網絡模型小型化--量化

網絡模型量化 模型量化 以更少位數的數據類型用於近似表示32位有限範圍浮點型數據的過程 模型的輸入輸出依然是浮點型 達到減少模型尺寸大小、減少模型內存消耗及加快模型推理速度等目標 原理 模型量化橋接了定點與浮點,建立了一種有效的數據映射關係,使得以較小的精度損失代價獲得了較好的收益 由浮點到定點的量化 由定點到浮點反量化 優缺點 好處 減小模型尺寸,如8位整型量化可減少75%的模型大小 減少存儲空
相關文章
相關標籤/搜索