Split的邏輯切分

文字概述 獲取到讀取到的數據,對數據進行邏輯切分,切分的大小是128M. 這裏的128 與HDFS數據塊的128沒有任何關係 HDFS 128 是存儲層面的數據切分 split128 是計算層面的128,只不過數據恰好相等。 兩個128相同的原因是,一個集成程序能夠正好計算一個數據塊。 圖片流程
相關文章
相關標籤/搜索