學習Hadoop(五)源碼閱讀,部分底層原理

1、Job,創建進程、完成作業細則、提交作業。向上追蹤源碼到MRJobConfig類,發現這裏定義了大量的默認配置。 例:maptasjk執行時可申請的最大內存,默認爲1G。 2、此爲提交作業。既作業提交給集羣,集羣驗證分析後執行。那麼,提交後,map階段之前處於進行分片階段,之所以默認分片後片的大小默認爲塊的大小因爲如此。minSize默認爲1B maxSize默認爲long的最大值。block
相關文章
相關標籤/搜索