大規模機器學習

這一節主要講了一些適用於大規模機器學習的算法及策略，並比較了梯度降低、隨機梯度降低和小批量梯度降低的優劣。目前來講，大規模機器學習中用的最多的仍是小批量梯度降低，畢竟它在執行效率和性能之間達到了一個平衡。固然，對於小批量梯度降低來講，如何選擇合適的批量大小又是一個值得深思的問題。

梯度降低

\[ \begin{aligned} &\text{Repeat}\{\\ &\quad\quad\Theta_{t+1} := \Theta_t - \alpha\frac{1}{n}\sum_{i=1}^n\nabla\text{cost}\left(f(x^{(i)};\Theta_t),y^{(i)}\right)\\ &\} \end{aligned} \]

隨機梯度降低

\[\begin{aligned} &\text{Repeat}\{\\ &\quad\quad\text{Shuffer training dataset randomly}\\ &\quad\quad \text{Select }\textbf{one}\text{ example from training dataset}\\ &\quad\quad\Theta_{t+1} := \Theta_t - \alpha\nabla\text{cost}\left(f(x^{(i)};\Theta_t),y^{(i)}\right)\\ &\} \end{aligned}\]

小批量梯度降低

\[\begin{aligned} &\text{Repeat}\{\\ &\quad\quad\text{Shuffer training data randomly}\\ &\quad\quad\text{Select }b\text{ examples from training dataset}\\ &\quad\quad\Theta_{t+1} := \Theta_t - \alpha\frac{1}{b}\sum_{i=1}^b\nabla\text{cost}\left(f(x^{(i)};\Theta_t),y^{(i)}\right)\\ &\} \end{aligned}\]
後面介紹了分佈式機器學習中的Map-Reduce方法，其實現階段（2020年）經常使用的方法仍是數據並行和模型並行這兩種。主要使用的架構包括參數服務器以及一些環狀架構，這裏就不做過多介紹了。