HUE配置文件hue.ini 的sqoop模塊詳解（圖文詳解）（分HA集羣和非HA集羣）

 

 

 

很少說，直接上乾貨！

　　個人集羣機器狀況是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　而後，安裝目錄是在/home/hadoop/app下。

 

　　官方建議在master機器上安裝Hue，我這裏也不例外。安裝在bigdatamaster機器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4

 須要編譯才能使用（聯網）


　說給你們的話：你們電腦的配置好的話，必定要安裝cloudera manager。畢竟是一家人的。
同時，我也親身經歷過，會有部分組件版本出現問題安裝起來要個大半天時間去排除，作好內心準備。廢話很少說，由於我目前讀研，本身筆記本電腦最大8G，只能玩手動來練手。
純粹是爲了給身邊沒高配且條件有限的學生黨看的！ 但我已經在實驗室機器羣裏搭建好cloudera manager 以及 ambari都有。

大數據領域兩大最主流集羣管理工具Ambari和Cloudera Manger

Cloudera安裝搭建部署大數據集羣（圖文分五大步詳解）（博主強烈推薦）

Ambari安裝搭建部署大數據集羣（圖文分五大步詳解）（博主強烈推薦）

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

 

 

 

　　1、默認的sqoop配置文件

 

 

 

 

 

 

2、如下是跟我機器集羣匹配的配置文件（非HA集羣下怎麼配置Hue的sqoop模塊）

 　　個人集羣是bigdatamaster、bigdataslave1和bigdataslave2組成的3節點非HA集羣。

　　 對於sqoop的安裝，我通常是隻安裝在bigdatamaster就好。如同跟hive同樣也是隻安裝在bigdatamaster上。

###########################################################################
# Settings to configure Sqoop2
###########################################################################

[sqoop]
  # For autocompletion, fill out the librdbms section.

  # Sqoop server URL
  server_url=http://bigdatamaster:12000/sqoop

  # Path to configuration directory
  sqoop_conf_dir=/home/hadoop/app/sqoop/server/conf

 

 

 

 

 

 

 

 

3、如下是跟我機器集羣匹配的配置文件（HA集羣下怎麼配置Hue的sqoop模塊）

 　　跟非HA集羣的配法是同樣的。

 

 

 

 

 

 

 

 

 

 　　

　　你們要注意，Hue裏是隻支持Sqoop2版本，對於Sqoop1和Sqoop2版本，直接去官網看就得了。

 

 

 

 

 

　　由於，sqoop1 和 sqoop2仍是不一樣的

 

 

　　同時，二者的環境變量也不同。

 

 　　這裏很少說，你們去看個人這篇博客

sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建

 

 

 

 

Sqoop2所有配置好以後，按照以下的順序來

　　一、啓動Sqoop2的server（我這裏作個最簡單的，在bigdatamaster上）。啓動sqoop服務

$SQOOP_HOME/bin/sqoop.sh server start  

 

[hadoop@bigdatamaster hadoop]$ cd $SQOOP_HOME
[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh server start Sqoop home directory: /home/hadoop/app/sqoop Setting SQOOP_HTTP_PORT: 12000 Setting SQOOP_ADMIN_PORT: 12001 Using CATALINA_OPTS: Adding to CATALINA_OPTS: -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001 Using CATALINA_BASE: /home/hadoop/app/sqoop/server Using CATALINA_HOME: /home/hadoop/app/sqoop/server Using CATALINA_TMPDIR: /home/hadoop/app/sqoop/server/temp Using JRE_HOME: /home/hadoop/app/jdk Using CLASSPATH: /home/hadoop/app/sqoop/server/bin/bootstrap.jar [hadoop@bigdatamaster sqoop]$ jps 2200 QuorumPeerMain 2339 NameNode 2973 Bootstrap 2984 Jps 2495 SecondaryNameNode 2669 ResourceManager [hadoop@bigdatamaster sqoop]$ 

　　jsp命令看到Bootstrap進程。

 

 

 

　　二、啓動Sqoop2的client（我這裏作個最簡單的，在bigdatamaster上），進入客戶端交互模式。進入sqoop控制檯  

$SQOOP_HOME/bin/sqoop.sh client  

 

[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh client Sqoop home directory: /home/hadoop/app/sqoop May 07, 2017 8:26:47 PM java.util.prefs.FileSystemPreferences$1 run INFO: Created user preferences directory. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 

 

 

 

 

 

 

　　三、在Sqoop2的client鏈接Sqoop2的server 。 鏈接服務器  

sqoop:000> set server --host bigdatamaster  --port 12000  --webapp sqoop

sqoop:000> set server --host localhost  --port 12000  --webapp sqoop

sqoop:000> show version --all 

　　當看到show version -all正確的顯示 就說明了Sqoop2的client鏈接上了Sqoop2的服務器。

 

　　show version --all            顯示服務器、客戶端的版本信息，若是server顯示錯誤，

　　　　重啓一下 server./sqoop.sh server stop  

 

 　　

 

 

 

 

 

 

 

歡迎你們，加入個人微信公衆號：大數據躺過的坑        人工智能躺過的坑

 

 

 

同時，你們能夠關注個人我的博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我願分享。本公衆號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於互聯網和我的學習工做的精華乾貨知識，一切來於互聯網，反饋回互聯網。
　　目前研究領域：大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及日常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在羣裏，天天必須有收穫

 

      對應本平臺的討論和答疑QQ羣：大數據和人工智能躺過的坑（總羣）（161156071）