Hadoop如何將TB級大文件的上傳性能優化上百倍？

這篇文章，我們來看看，Hadoop的HDFS分佈式文件系統的文件上傳的性能優化。 首先，我們還是通過一張圖來回顧一下文件上傳的大概的原理。 由上圖所示，文件上傳的原理，其實說出來也簡單。 比如有個TB級的大文件，太大了，HDFS客戶端會給拆成很多block，一個block就是128MB。 這個HDFS客戶端你可以理解爲是雲盤系統、日誌採集系統之類的東西。 比如有人上傳一個1TB的大文件到網盤，或者

>>阅读原文<<