如何像用MNIST一樣來用ImageNet？這裏有一份加速TensorFlow分佈式訓練的梯度壓縮指南

作者 | 王佐 今年的 NIPS 出現 "Imagenet is the new MNIST" 口號，宣告使用 MNIST 數據集檢驗網絡模型性能已經成爲過去式。算法工程師們早就意識到訓練數據集大小的重要性，並且進一步發現，針對特定的模型大小，訓練數據集的大小和泛化誤差之間存在以下的關係[1]: 訓練數據集大小必須跨越Power-law Region，才能得到網絡模型的實際性能。 網絡模型的大小（

>>阅读原文<<