hadoop經常使用操做命令

#############centos6.8IP經常使用操做命令#######################
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.3.131
GATEWAY=192.168.3.2
NETMASK=255.255.255.0
DNS1=192.168.3.2

192.168.126.121 hdp-01
192.168.126.122 hdp-02
192.168.126.123 hdp-03
192.168.126.124 hdp-04

#############centos6.8修改系統信息經常使用操做命令#######################
[root@vae ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
[root@vae ~]# vi /etc/udev/rules.d/70-persistent-net.rules
[root@vae ~]# vi /etc/sysconfig/network

#############防火牆經常使用操做命令#######################
[root@hdp-04 ~]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
[root@hdp-04 ~]# chkconfig iptables off

#############windows hosts文件位置經常使用操做命令#######################
C:\Windows\System32\drivers\etc

#############配置域名映射關係經常使用操做命令#######################
vi /etc/hosts

192.168.3.131 hdp-01
192.168.3.132 hdp-02
192.168.3.133 hdp-03

#############配置免密登陸經常使用操做命令#######################
ssh-keygen
ssh-copy-id hdp-01
ssh-copy-id hdp-02
ssh-copy-id hdp-03

 

#############datanode和namenode經常使用操做命令#######################
修改slaves 配置文件（datanode）
/apps/hadoop-2.8.1/etc/hadoop
vi slaves

初始化datanode和namenode數據目錄(先刪除原有的namenode和datanode的數據目錄)
rm -rf /apps/dfs（每臺機上都要執行）
hadoop namenode -format
單獨啓動datanode
hadoop-daemon.sh start datanode

cd /apps/hadoop-2.8.1/sbin
start-dfs.sh
http://hdp-01:50070

#############安裝yarn經常使用操做命令#######################
start-yarn.sh
http://hdp-01:8088/cluster/nodes

安裝啓動
/apps/hadoop-2.8.1/sbin/start-yarn.sh
#############spark經常使用操做命令#######################
啓動spark
/apps/spark-2.2.3-bin-hadoop2.7/sbin/start-all.sh
/apps/spark-2.2.3-bin-hadoop2.7/sbin/stop-all.sh
啓動demo
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-submit --master spark://hdp-01:7077 --class org.apache.spark.examples.SparkPi /apps/spark-2.2.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.3.jar 1000
啓動demo指定運行時候的參數
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-submit --master spark://hdp-01:7077 --class org.apache.spark.examples.SparkPi --executor-memory 512mb --total-executor-cores 2 /apps/spark-2.2.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.3.jar 100
查看spark運行狀況
http://hdp-01:8080/

提交一個spark程序到spark-shell
用的是spark的local模式運行的
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-shell
指定master運行在集羣上
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-shell --master spark://hdp-01:7077

 

啓動，中止fastDfs
/apps/hadoop-2.8.1/sbin/start-dfs.sh
/apps/hadoop-2.8.1/sbin/stop-dfs.sh

#############hdfs命令行客戶端的經常使用操做命令#######################
0、查看hdfs中的目錄信息
hadoop fs -ls /hdfs路徑

一、上傳文件到hdfs中
hadoop fs -put /本地文件 /aaa
hadoop fs -copyFromLocal /本地文件 /hdfs路徑 ## copyFromLocal等價於 put

hadoop fs -moveFromLocal /本地文件 /hdfs路徑 ## 跟copyFromLocal的區別是：從本地移動到hdfs中

二、下載文件到客戶端本地磁盤
hadoop fs -get /hdfs中的路徑 /本地磁盤目錄
hadoop fs -copyToLocal /hdfs中的路徑 /本地磁盤路徑 ## 跟get等價
hadoop fs -moveToLocal /hdfs路徑 /本地路徑 ## 從hdfs中移動到本地

三、在hdfs中建立文件夾
hadoop fs -mkdir -p /aaa/xxx

四、移動hdfs中的文件（改名）
hadoop fs -mv /hdfs的路徑 /hdfs的另外一個路徑

五、刪除hdfs中的文件或文件夾
hadoop fs -rm -r /aaa

六、修改文件的權限
hadoop fs -chown user:group /aaa
hadoop fs -chmod 700 /aaa

七、追加內容到已存在的文件
hadoop fs -appendToFile /本地文件 /hdfs中的文件

八、顯示文本文件的內容
hadoop fs -cat /hdfs中的文件
hadoop fs -tail /hdfs中的文件
#########################################

Demo啓動fastDfs/apps/hadoop-2.8.1/sbin/start-dfs.sh查看fastDfs運行狀況http://hdp-01:50070/上傳要統計的文件hadoop fs -put /apps/softs/kkk.txt /wc啓動spark/apps/spark-2.2.3-bin-hadoop2.7/sbin/start-all.sh 查看spark運行狀況http://hdp-01:8080/指定master運行在集羣上/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-shell --master spark://hdp-01:7077分組聚合sc.textFile("hdfs://hdp-01:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect分組聚合進行排序sc.textFile("hdfs://hdp-01:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect中止fastDfs/apps/hadoop-2.8.1/sbin/stop-dfs.sh中止spark/apps/spark-2.2.3-bin-hadoop2.7/sbin/stop-all.sh