spark中經常使用算子含義及區別

Transform: 1. map:rdd中的每項數據進行map裏的操做後,會造成一個個新的元素的新rdd flatMap:在map的基礎上進行扁平化,造成一個新的rdd 2. distinct:轉換操做,去重 filter:對rdd中的元素進行過濾 filterByRange:範圍過濾,做用於鍵值對RDD,對RDD中元素進行過濾,返回鍵在指定範圍內的元素 3. union:並集操做,不去重 in
相關文章
相關標籤/搜索