Hadoop MapReduce Splits 切片源碼分析及切片機制

本文從Job提交,逐步分析Splits相關源碼。 數據塊:Block是HDFS物理上把數據分成一塊一塊的。 數據切片:數據切片只是在物理上輸入進行分片,並不會在磁盤上將其分成片進行存儲。 文件路徑 org/apache/hadoop/mapreduce/JobSubmitter.java // Create the splits for the job LOG.debug("Creating sp
相關文章
相關標籤/搜索