spark特徵工程處理流程

1、特徵工程 查看數據的分佈 1df.describe().show() 2df.summary().show() //這個顯示比describe更全 1 惟一值刪除 移除列特徵中只有一個值的列web 1 2`def UniqueValueRemove(df:DataFrame)={ 3 4 val df_ttmp=df.select(df.columns.map(c=>countDi

>>阅读原文<<