DistBelief 框架下的並行隨機梯度降低法 - Downpour SGD

  本文是讀完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 後的一則讀書筆記，重點介紹在 Google 的軟件框架 DistBelief 下設計的一種用來訓練大規模深度神經網絡的隨機梯度降低法 — Downpour SGD，該方法經過分佈式地部署多個模型副本和一個「參數服

>>阅读原文<<