RDD實現

解析器集成 Scala解析器處理一般過程: 1 將用戶輸入每一行編譯成一個類 2 將該類載入到JVM中 3 調用該類中的某個函數 內存管理 1 未序列化Java對象存儲在內存中 2 序列化的數據存於內存中 3 存於磁盤中 內存使用LRU(最近最少)回收算法管理 RDD編程接口 1 RDD分區(Partitions) 2 RDD首選位置(PreferredLocations):離數據最近的位置 3
相關文章
相關標籤/搜索