大數據(3) Hadoop如何將TB級大文件的上傳性能優化上百倍

一、寫在前面 上一篇文章，我們聊了一下Hadoop中的NameNode裏的edits log寫機制。 主要分析了edits log寫入磁盤和網絡的時候，是如何通過分段加鎖以及雙緩衝的機制，大幅度提升了多線程併發寫edits log的吞吐量，從而支持高併發的訪問。 如果沒看那篇文章的同學，可以回看一下：大規模集羣下Hadoop NameNode如何承載每秒上千次的高併發訪問。 這篇文章，我們來看看，

>>阅读原文<<