spark1.6.1入門api實現單詞計數

剛剛學習spark,因此寫個簡單案列,來提高本身。 spark也會有相似於hadoop的mapreduce過程,用於數據的處理。 準備工做:先將一個寫有單詞的文本傳上到hdfs。 函數解釋: 1,flatMap: flatmap與map相似,區別是原RDD中的元素經map處理後只能生成一個元素,而原RDD中的元素經flatmap處理後可生成多個元素來構建新RDD。返回的是一個迭代 咱們也是經過這個
相關文章
相關標籤/搜索