Hadoop客戶端Job提交流程

從源碼層面,總結下Hadoop客戶端提交作業的流程:   1. 選擇使用分佈式環境通信協議,還是本地調試通信協議      org.apache.hadoop.mapreduce.Job#connect   2. 上傳作業代碼jobjar, libjar等,從本地文件系統到HDFS中去。      copyAndConfigureFiles(job, submitJobDir);   3. 拆分輸
相關文章
相關標籤/搜索