HAQ: Hardware-Aware Automated Quantization with Mixed Precision

本文的創新點爲: 作者認爲,在不同的平臺上,以及不同的layer上,合適的量化bit數都是不同的。但是如果想認爲找到這個最優值是不可能的,於是作者使用強化學習的方法來找到最合理的量化bit數。 本來芯片是不支持混合精度的計算的,但隨着硬件的發展,支持混合機精度計算的芯片也出現了:比如蘋果的A12,NVIDIA的圖靈GPU框架等,從而使得這種思路得以實現。 它的優點是完全自動化,不需要專家知識和啓發
相關文章
相關標籤/搜索