經過簡單瘦身,解決Dataworks 10M文件限制問題

摘要: 用戶在DataWorks上執行MapReduce做業的時候,文件大於10M的JAR和資源文件不能上傳到Dataworks,致使沒法使用調度去按期執行MapReduce做業。 解決方案: jar -resources test_mr.html

用戶在DataWorks上執行MapReduce做業的時候,文件大於10M的JAR和資源文件不能上傳到Dataworks,致使沒法使用調度去按期執行MapReduce做業。spa

解決方案:htm

第一步:大於10M的resources經過MaxCompute CLI客戶端上傳,blog

客戶端下載地址:https://help.aliyun.com/docum...圖片

客戶端配置AK、EndPoint:https://help.aliyun.com/docum...資源

add jar C:test_mrtest_mr.jar -f;//添加資源get

第二步:目前經過MaxCompute CLI上傳的資源,在Dataworks左側資源列表是找不到的,只能經過list resources查看確認資源;it

list resources;//查看資源class

第三步:瘦身Jar,由於Dataworks執行MR做業的時候,必定要本地執行,因此保留個main就能夠;test

圖片描述

經過上述方法,咱們能夠在Dataworks上跑大於10M的MR做業。

相關文章
相關標籤/搜索