模型穩定性:測試
羣體穩定性指標(population stability index)
公式: psi = sum((實際佔比-預期佔比)* ln(實際佔比/預期佔比))
舉個例子解釋下,好比訓練一個logistic迴歸模型,預測時候會有個類機率輸出,p。在你的測試數據集上的輸出設定爲p1,將它從小到大排序後將數據集10等分(每組樣本數一直,此爲等寬分組),計算每等分組的最大最小預測的類機率值。.net
如今你用這個模型去對新的樣本進行預測,預測結果叫p2,利用剛纔在測試數據集上獲得的10等分每等分的上下界。按p2將新樣本劃分爲10分(不必定等分了哦)。blog
實際佔比就是新樣本經過p2落在p1劃分出來的每等分界限內的佔比,預期佔比就是測試數據集上各等分樣本的佔比。
意義就是若是模型更穩定,那麼在新的數據上預測所得類機率應該更建模分佈一致,這樣落在建模數據集所得的類機率所劃分的等分區間上的樣本佔比應該和建模時同樣,不然說明模型變化,通常來自預測變量結構變化。一般用做模型效果監測。排序
通常認爲PSI小於0.1時候模型穩定性很高,0.1-0.2通常,須要進一步研究,大於0.2模型穩定性差,建議修復。get
數據分佈穩定性:it
psi = sum((樣本A分佈佔比-樣本B分佈佔比)* ln(樣本A分佈佔比/樣本B分佈佔比))io
---------------------
原文:https://blog.csdn.net/guhongpiaoyi/article/details/79043531 變量
https://blog.csdn.net/qq_15111861/article/details/83859737qq