DistBelief 框架下的並行隨機梯度下降法 - Downpour SGD

本文是讀完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 後的一則讀書筆記，重點介紹在 Google 的軟件框架 DistBelief 下設計的一種用來訓練大規模深度神經網絡的隨機梯度下降法 — Downpour SGD，該方法通過分佈式地部署多個模型副本和一個「參數服務器」，同時實

>>阅读原文<<