HDFS讀數據流與寫數據流(seven day first)

  1.拓撲距離 這裏簡單講下hadoop的網絡拓撲距離的計算 在大數量的情景中,帶寬是稀缺資源,如何充分利用帶寬,完美的計算代價開銷以及限制因素都太多。hadoop給出了這樣的解決方案: 計算兩個節點間的間距,採用最近距離的節點進行操作,如果你對數據結構比較熟悉的話,可以看出這裏是距離測量算法的一個實例。 如果用數據結構表示的話,這裏可以表示爲tree,兩個節點的距離計算就是尋找公共祖先的計算。
相關文章
相關標籤/搜索