大數據複習筆記——hadoop

今天主要回顧一下hadoop學習時候的重要知識點，以及mr提交做業時候的流程、數據塊副本放置策略等等前端 一、HDFS架構 設計目標 硬件錯誤 a) 硬件錯誤是常態而不是異常。 b) HDFS可能由成百上千的服務器所構成，單機故障機率的存在乎味着總有一部分服務器不工做的。 c) 錯誤檢測和快速自動恢復是HDFS最核心架構目標。 流式數據訪問 a) 運行在HDFS上的應用須要流式訪問它們的數據集。

>>阅读原文<<