Caffe 多GPU訓練問題，以及batch_size 選擇的問題

1. 多GPU訓練時，速度沒有變得更快。 使用多GPU訓練時，每個GPU都會運行一個 Caffe 模型的實例。比如當使用 n n n 個GPU訓練時，網絡會有 n n n 個分身分別在各自的GPU上運行， n n n 個網絡中有一個「本尊」叫root_net，root_net除了負責正常的前傳反傳還負責更新參數，而其它網絡只負責前傳和反傳。大致流程是這樣的， n n n 個網絡共享一個數據層，數據

>>阅读原文<<