Hadoop學習筆記5之HDFS Block

       HDFS的塊比磁盤塊大,目的是爲了最小化尋址開銷。如果塊設置的足夠大,從磁盤傳輸數據的時間可以明顯大於定位這個塊開始位置所需要的時間。這樣,傳輸一個由多個塊組成的文件的時間取決於磁盤傳輸速率。        尋址時間10ms左右,HDFS使讓塊尋址時間佔用讀取時間的1%,以傳輸速率100MB/s爲例,設置塊大小爲128MB。       但是該參數也不會設置得過大。MapReduce
相關文章
相關標籤/搜索