用maven的ant run插件自動部署MR job依賴的jar到HDFS

背景 遠程提交MR job時將MR job依賴的所有jar都發布到HDFS中,同時將這些jar加到hadoop job的classpath上。 如果每次手動上傳就太費勁。項目集成maven。所以打算在maven package時將所有jar通過腳本上傳到遠程HDFS上       編寫ant腳本 使用了,haddop的ant 插件。說白了就是一些util方法,調用了fsshell。沒有文檔,寫的時
相關文章
相關標籤/搜索