HDFS的讀寫流程及多線程寫問題

1、HDFS之block package chunk 瞭解hdfs的讀寫流程，首先要了解block、package、chunk的概念。 1、block 這個大家應該知道，文件上傳前需要分塊，這個塊就是block，一般爲128MB，當然你可以去改，不顧不推薦。因爲塊太小：尋址時間佔比過高。塊太大：Map任務數太少，作業執行速度變慢。它是最大的一個單位。 2、package packet是第二大的單位

>>阅读原文<<