hadoop錯誤INFO ipc.Client Retrying connect to server

問題

• 今天在測試環境上跑任務的時候遇到了這個問題,找遍了網上的文章,都是讓改配置文件的,好比這一個 Retrying connect to server ,可是在測試環境上我沒有權限改配置文件,因此也就沒有測試

解決方案

• 以前的運行語句和jar包都是能夠正常跑出結果的,此次也是在以前的jar包基礎上作了一些修改,爲何就不能跑了呢?
• 以後用控制變量法測試了不少參數,發現以前的跑的數據比此次小,以前5.4T,此次16T,因而將此次的數據分批次跑,減小一次跑的數據量,成功運行

總結

• 出現這個錯誤的緣由是數據量太大,致使hadoop出現鏈接錯誤
• 改配置文件的方法沒有試過,由於沒有權限
• 個人解決方案是寫了個腳本分批次跑數據,減小一次跑的數據量