pyspark中的dataframe的觀察操做

來自於：http://www.bubuko.com/infodetail-2802814.html

一、讀取：

• sparkDF = spark.read.csv(path)
• sparkDF = spark.read.text(path)

二、打印：

sparkDF.show()【這是pandas中沒有的】：打印內容

sparkDF.head()：打印前面的內容

sparkDF.describe()：統計信息

sparkDF.printSchema()：打印schema，列的屬性信息打印出來【這是pandas中沒有的】

sparkDF.columns：將列名打印出來

三、選擇列

【select函數，原pandas中沒有】

sparkDF.select(‘列名1‘,‘列名2‘).show()：選擇dataframe的兩列數據顯示出來

sparkDF.select ( sparkDF[‘列名1‘]+1 , ‘列名2‘ ).show()：直接對列1進行操做（值+1）打印出來

 

四、篩選列：

filter【相似pandas中dataframe的採用列名來篩選功能】

sparkDF.filter ( sparkDF[‘value‘] == 100 ).show()：將value這一列值爲100的行篩選出來

 

 五、計算不重複值以及統計dataframe的行數

 distinct()函數：將重複值去除

sparkDF.count()：統計dataframe中有多少行

將評分爲100的電影數量統計出來：