spark知識點總結(1)

1.RDD彈性分佈式數據集:是抽象出來的概念,元素的集合。是一批節點上一批數據的集合。java 分佈式:每一個rdd會把數據分紅多個parttioner放在多個節點上。eg:90萬條數據放在9個節點上面,每一個   節點9萬條數據。mysql 彈性:eg:每一個節點上面個的內存中只能存放5萬條數據,那麼他會把剩下的4萬條存放在磁盤當中。sql RDD提供個高容錯性的機制,當一個RDD上面的數據發生
相關文章
相關標籤/搜索