GPU和顯存的關係

gpu和顯存相似於，cpu和內存的關係。顯存用來存放模型，數據，顯存越大，所可以運行的網絡就越大。GPU是計算單元，用來進行數值計算。網絡 神經網絡的顯存佔用包括：orm 1）模型參數的顯存佔用：只有有參數的層纔會有顯存佔用，這部分的顯存佔用和輸入無關，模型加載完以後就會佔用有參數的層包括：卷積層，全鏈接層，BatchNorm,Embedding層。無參數的層：激活層sigmoid（sigmoid

>>阅读原文<<