Hadoop平臺優化綜述(二)

從系統實現角度進行優化 4.1 在可移植性和性能之間進行權衡 論文[16]主要針對HDFS進行了優化,它分析了HDFS性能低下的兩個原因:調度延遲和可移植性假設。 (1) 調度延遲 Hadoop採用的是動態調度算法,即:當某個tasktracker上出現空slot時,它會通過HEARBEAT(默認時間間隔爲3s,當集羣變大時,會適當調大)告訴jobtracker,之後jobtracker採用某種調
相關文章
相關標籤/搜索