手機端開發深度學習應用

第一步模型壓縮 將深度學習模型應用到手機、嵌入式設備,咱們應該減小模型內存封裝,減小推斷時間和減小能源使用。有許多方式解決這些問題,例如量子化,權重簡直或者distilling 大模型到小模型. 本文使用在Tensorflow中的量子化工具壓縮模型。縮減到8bit權重,沒有提供額外的好處例如減小推斷時間。時間甚至須要2倍,由於量子化工做對CPU沒有優化。 量化模型參數: 1 將模型寫入protoc
相關文章
相關標籤/搜索