DataFrameNaFunctions無fill方法

當我使用 spark2.1 ,爲了填補 dataframe 裏面的 null 值轉換爲 0 ,代碼以下所示:java

dataframe.na.fill(0)

出現以下錯誤 Spark version 2.1.0 returns following error :sql

java.lang.NoSuchMethodError: org.apache.spark.sql.DataFrameNaFunctions.fill(JLscala/collection/Seq;)Lorg/apache/spark/sql/Dataset

原來在 spark2.1 版本暫時不支持 na.fill 寫法,所以查詢衆多方式獲得解決:apache

import org.apache.spark.sql.functions.when
val dataDF = dataframe.withColumn("col", when(dataframe("col").isNull,0).otherwise(dataframe("col")))
相關文章
相關標籤/搜索