Caffe 多GPU訓練問題，以及batch_size 選擇的問題

1. 多GPU訓練時，速度沒有變得更快。html 使用多GPU訓練時，每一個GPU都會運行一個 Caffe 模型的實例。好比當使用 n n n 個GPU訓練時，網絡會有 n n n 個分身分別在各自的GPU上運行， n n n 個網絡中有一個「本尊」叫root_net，root_net除了負責正常的前傳反傳還負責更新參數，而其它網絡只負責前傳和反傳。大體流程是這樣的， n n n 個網絡共享一個數

>>阅读原文<<