hdfs讀寫原理

目錄 3個概念 寫數據是輸出流 讀數據輸入流 如何保證數據完整性 3個概念 block 這個塊就是block,它是最大的一個單位。一般爲128MB,當然你可以去改,不顧不推薦。因爲塊太小:尋址時間佔比過高。塊太大:Map任務數太少,作業執行速度變慢。 packet packet是第二大的單位,它是client端向DataNode,或DataNode的PipLine之間傳數據的基本單位,默認64KB
相關文章
相關標籤/搜索