HUE下載HDFS文件時報ERR_CONNECTION_TIMED_OUT錯誤的解決辦法

一、故障描述

這是運行在公有云上的一套Hadoop集羣，有一個公網IP將部分服務的端口映射出來供辦公室訪問。

數據分析師報告說：在HUE上面瀏覽HDFS文件，點擊"download"準備下載時，會被重定向到 http://10.0.34.11:4032/webhdfs/v1/xk/logs/prd/game/xxxxx 相似的內網IP而且瀏覽器報錯ERR_CONNECTION_TIMED_OUT，影響文件沒法下載

 

二、思考與分析

從重定向的地址來看，是HUE調用了webhdfs的接口，可是這個地址被配置成了局域網IP，而辦公室是不能直接訪問服務的內網的，因此就會超時報錯。

 

三、解決方法

a)將webhdfs的IP、端口映射到公網，將設置安全組，只容許幾個辦公區的IP能夠訪問

過程略……

b)修改HUE的配置文件，將參數webhdfs_url的值改爲已映射的公網IP

cd /usr/local/service/hue/desktop/conf && cp pseudo-distributed.ini pseudo-distributed.ini.bak.20200114

vim pseudo-distributed.ini   將參數webhdfs_url的值改爲已映射的公網IP

重啓HUE服務

 

四、擴展

經過HUE，一次只能下載一個文件，若是須要一次性下載多個文件的話，能夠考慮使用hdfs命令將文件/目錄下載到Linux服務器上，例如：

hadoop dfs -get /xk/logs/prd/game/xxxx/xxxx/11    ~/tmp_dir/