CentOS6安裝各類大數據軟件 第二章：Linux各個軟件啓動命令

相關文章連接

CentOS6安裝各類大數據軟件 第一章：各個軟件版本介紹

CentOS6安裝各類大數據軟件 第二章：Linux各個軟件啓動命令

CentOS6安裝各類大數據軟件 第三章：Linux基礎軟件的安裝

CentOS6安裝各類大數據軟件 第四章：Hadoop分佈式集羣配置

CentOS6安裝各類大數據軟件 第五章：Kafka集羣的配置

CentOS6安裝各類大數據軟件 第六章：HBase分佈式集羣的配置

CentOS6安裝各類大數據軟件 第七章：Flume安裝與配置

CentOS6安裝各類大數據軟件 第八章：Hive安裝和配置

CentOS6安裝各類大數據軟件 第九章：Hue大數據可視化工具安裝和配置

CentOS6安裝各類大數據軟件 第十章：Spark集羣安裝和部署

1. 同步時間的命令

查看時間命令：date

網絡同步時間命令：ntpdate ntp1.aliyun.com / ntpdate cn.pool.ntp.org

同步固定時間命令：date -s "2018-07-30 14:03:03"

2. 防火牆等相關命令

#臨時關閉防火牆

service iptables stop

#檢測防火牆是否關閉

service iptables stop

#將防火牆設置爲開啓不啓動

chkconfig iptables off

#修改config文件中的SELINUX=disabled

vi /etc/selinux/config

SELINUX=disabled

3. Zookeeper軟件啓動命令

在Zookeeper的安裝目錄的bin文件夾下，啓動zkServer.sh start便可

環境變量配置以下：

export ZK_HOME=/export/servers/zookeeper-3.4.9

export PATH=${ZK_HOME}/bin:$PATH

4. Hadoop軟件啓動命令

4.1. 格式化HDFS文件系統

在Hadoop的安裝目錄下執行此命令：./bin/hdfs namenode –format

4.2. 啓動HDFS

咱們如今將一個節點上的HDFS文件系統配置完成和格式化完成了,接下來,咱們啓動HDFS文件系統

#啓動namenode

./sbin/hadoop-daemon.sh start namenode

#啓動datanode

./sbin/hadoop-daemon.sh start datanode

#啓動以後能夠在50070的web界面進行查看

4.3. 啓動yarn

#啓動resourcemanager

./sbin/yarn-daemon.sh start resourcemanager

#啓動nodemanager

./sbin/yarn-daemon.sh start nodemanager

#啓動以後能夠在8088的web界面進行查看

4.4. 一鍵啓動和中止

在sbin目錄下執行以下命令：

./start-all.sh

./stop-all.sh

5. Kafka軟件啓動命令

5.1. 直接啓動，當窗口關閉後結束進程

cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties

5.2. 以守護進程的方式啓動kafka，窗口關閉後能使用kafka

kafka-server-start.sh -daemon /export/servers/kafka/config/server.properties

5.3. 啓動kafka-manage頁面顯示工具

./kafka-manager -Dconfig.file=../conf/application.conf

6. HBase軟件啓動命令

6.1. 逐個服務器節點啓動HBase

#在節點1的HBase安裝目錄的bin目錄下啓動HBase Master
./hbase-daemon.sh start master
#在三節點啓動regionserver
./hbase-daemon.sh start regionserver

6.2. 一鍵啓動

#在HBase的bin目錄下執行以下命令
./start-hbase.sh

6.3. 經過一鍵啓動腳本啓動HBase

starthbase.sh

7. Flume啓動命令

7.1. 逐個服務器節點啓動Flume

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定 flume 自身的配置文件所在目錄
-f conf/netcat-logger.con 指定咱們所描述的採集方案
-n a1 指定咱們這個 agent 的名字

7.2. 經過一鍵啓動腳本啓動Flume

startflume.sh

8. hive啓動命令

在/export/servers/hive/bin目錄下，啓動hiveserver2服務便可：
./hiveserver2
hive的一鍵啓動命令：
starthiveserver2.sh

9. Hue啓動命令

在/export/servers/hue-3.7.0-cdh5.3.6/build/env/bin目錄下執行hue的啓動命令：
./supervisor
若是hue集成hbase，需在/export/servers/hbase/bin目錄下啓動thrift服務：
hbase-daemon.sh start thrift

10. Spark啓動命令

10.1. 普通spark啓動命令以下

在spark安裝目錄的sbin目錄下執行以下命令：./start-all.sh

10.2. 高可用spark啓動命令以下

在節點一的spark安裝目錄的sbin目錄下執行以下命令：./sbin/start-all.sh
在節點二的spark安裝目錄的sbin目錄下執行以下命令：./sbin/start-master.sh

10.3. 注意

由於此配置中，spark集成了hive和hbase等操做，因此在若是要運行spark-shell，須要先啓動hbase和hive，特別是hive，需啓動3個服務，一個hive主服務，一個hive的其餘鏈接服務，一個hive和spark集成的服務，以下所示：
在hive的跟目錄下：bin/hiveserver2
在hive的跟目錄下：bin/hive --service metastore

11. 需在命令行窗口啓動的服務

hue服務：/export/servers/hue-3.7.0-cdh5.3.6/build/env/bin/supervisorhive和spark關聯服務：/export/servers/hive/bin/hive --service metastore