在有監督(supervise)的機器學習中，數據集常被分紅2~3個即：
訓練集(train set) 驗證集(validation set) 測試集(test set)算法
通常須要將樣本分紅獨立的三部分訓練集(train set)，驗證集(validation set)和測試集(test set)。其中訓練集用來估計模型，驗證集用來肯定網絡結構或者控制模型複雜程度的參數，而測試集則檢驗最終選擇最優的模型的性能如何。一個典型的劃分是訓練集佔總樣本的50％，而其它各佔25％，三部分都是從樣本中隨機抽取。
樣本少的時候，上面的劃分就不合適了。經常使用的是留少部分作測試集。而後對其他N個樣本採用K折交叉驗證法。就是將樣本打亂，而後均勻分紅K份，輪流選擇其中K－1份訓練，剩餘的一份作驗證，計算預測偏差平方和，最後把K次的預測偏差平方和再作平均做爲選擇最優模型結構的依據。特別的K取N，就是留一法（leave one out）。網絡
舉個例子，K = 10（常見狀況），求出整體錯誤率爲8.7%。那麼將當前的全部數據所有做爲訓練數據，獲得的模型的錯誤率90%的可能在9.7%左右。機器學習
training set是用來訓練模型或肯定模型參數的，如ANN中權值等； validation set是用來作模型選擇（model selection），即作模型的最終優化及肯定的，如ANN的結構；而 test set則純粹是爲了測試已經訓練好的模型的推廣能力。固然，test set這並不能保證模型的正確性，他只是說類似的數據用此模型會得出類似的結果。但實際應用中，通常只將數據集分紅兩類，即training set 和test set，大多數文章並不涉及validation set。post
train
訓練數據。擬合模型，用這部分數據來創建模型。性能
是一些咱們已經知道輸入和輸出的數據集訓練機器去學習，經過擬合去尋找模型的初始參數。例如在神經網絡（Neural Networks)中， 咱們用訓練數據集和反向傳播算法（Backpropagation）去每一個神經元找到最優的比重（Weights)。學習
validation
驗證數據。train建了一個模型，可是模型的效果僅體現了訓練數據，但不必定適合同類的其餘數據，因此建模前數據分紅兩部分，一部分爲訓練數據，一部分爲驗證數據（兩部分數據的比例大體爲7:3，這取決於你驗證的方法）。另外，你也可能訓練多個模型，但不知哪一個模型性能更佳，這時能夠將驗證數據輸入不一樣模型進行比較。測試
是一些咱們已經知道輸入和輸出的數據集，經過讓機器學習去優化調整模型的參數，在神經網絡中， 咱們用驗證數據集去尋找最優的網絡深度（number of hidden layers)，或者決定反向傳播算法的中止點；在普通的機器學習中經常使用的交叉驗證（Cross Validation) 就是把訓練數據集自己再細分紅不一樣的驗證數據集去訓練模型。優化
test
測試數據。跟前二者的最大區別在於：train和validation數據均是同一對象的數據，可是測試，咱們就須要用跨對象的數據來驗證模型的穩定性。對象
用戶測試模型表現的數據集，根據偏差（通常爲預測輸出與實際輸出的不一樣）來判斷一個模型的好壞。blog
爲何驗證數據集和測試數據集二者都須要？
由於驗證數據集（Validation Set)用來調整模型參數從而選擇最優模型，模型自己已經同時知道了輸入和輸出，因此從驗證數據集上得出的偏差（Error)會有誤差（Bias)。
可是咱們只用測試數據集(Test Set) 去評估模型的表現，並不會去調整優化模型。
在傳統的機器學習中，這三者通常的比例爲training/validation/test = 50/25/25, 可是有些時候若是模型不須要不少調整隻要擬合就可時，或者training自己就是training+validation (好比cross validation)時，也能夠training/test =7/3.
可是在深度學習中，因爲數據量自己很大，並且訓練神經網絡須要的數據不少，能夠把更多的數據分給training，而相應減小validation和test。