day01筆記

*******************************************
課程回顧：
vmWorkstation--搭建 linux虛擬機
主要課程安排。--
*******************************************
1. **linux配置IP常見問題**
（1）虛擬機的網絡設置
## * ** 網段必定要保持一致*** ##
Vmnet8--NAT 路由器。
Vmnet1--僅主機模式
Vmnet0--橋接模式 交換機
10.1.255.（1-255） 255.255.255.0
10.1.（1-255）.（1-255） 255.255.0.0
網關。 10.1.255.1 NAT 10.1.255.2
若是沒有GUI：
命令：vi /etc/sysconfig/network-scripts/ifcfg-(本身的名字)
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=a4a340a8-c3ba-4127-97c6-dc8a882bd7a4
DEVICE=ens33
## ONBOOT=yes ## 開機啓動
## IPADDR=10.1.255.121 ##
PREFIX=24
## GATEWAY=10.1.255.2 ##
IPV6_PRIVACY=no
## DNS1=10.1.255.2 ## 8.8.8.8

# ** *改完後切記 要重啓網絡服務*** #
命令：service network restart
systemctl restart network
# **保證本身的主機VMnet在啓用狀態。** #

2. **linux關閉防火牆**
查看防火牆狀態：firewall-cmd --state
systemctl status firewalld.service
關閉：systemctl stop firewalld.service
永久關閉： systemctl disable firewalld.service
3. **linux配置主機名**
（1）若是安裝虛擬機 按照文檔 主機明已經配置完成；
（2）經過命令：
vi /etc/hostname ---
reboot 永久生效。
hostname 主機名---臨時
（3）設置主機名與IP對應關係
vi /etc/hosts--修改
10.1.255.121 bigdata121
10.1.255.122 bigdata122
10.1.255.123 bigdata123
3. **linux經常使用命令**
（1）ls:只顯示文件名，
ll:顯示詳細信息 ls -l
lrwxrwxrwx. 1 root root 7 Dec 26 21:11 bin -> usr/bin
dr-xr-xr-x. 4 root root 4096 Dec 26 21:25 boot
drwxr-xr-x. 20 root root 3320 Jan 3 20:04 dev
drwxr-xr-x. 139 root root 8192 Jan 3 20:52 etc
drwxr-xr-x. 3 root root 19 Dec 27 09:15 home
lrwxrwxrwx. 1 root root 7 Dec 26 21:11 lib -> usr/lib
lrwxrwxrwx. 1 root root 9 Dec 26 21:11 lib64 -> usr/lib64
drwxr-xr-x. 2 root root 6 Mar 10 2016 media
drwxr-xr-x. 2 root root 6 Mar 10 2016 mnt
drwxr-xr-x. 5 root root 46 Jan 3 16:38 opt
dr-xr-xr-x. 254 root root 0 Jan 3 08:34 proc
dr-xr-x---. 18 root root 4096 Jan 3 20:08 root
drwxr-xr-x. 40 root root 1220 Jan 3 20:10 run
lrwxrwxrwx. 1 root root 8 Dec 26 21:11 sbin -> usr/sbin
drwxr-xr-x. 2 root root 6 Mar 10 2016 srv
dr-xr-xr-x. 13 root root 0 Jan 3 08:34 sys
drwxrwxrwt. 54 root root 8192 Jan 3 20:59 tmp
drwxr-xr-x. 13 root root 155 Dec 26 21:11 usr
drwxr-xr-x. 20 root root 282 Dec 26 21:40 var
1：表明文件類型 例如 d表明 目錄
2-4：屬於user權限 r-可讀 4 w-可寫2 x-可執行1
5-7：屬於group權限
8-10：其餘用戶的權限。
硬鏈接數
(2)pwd:顯示當前目錄。
（3）cd:更換目錄
（4）chmod--修改權限 chmod 777--rwx rwx rwx
(5)touch --建立文件
（6）vi----修改文件先點擊i，完事以後 esc ,shitf+:,
若是要保存：wq wq! 歎號表示強制；
若是不保存：q q! 歎號表示強制
shitf+: set number--顯示行號。
(7)cat、tac---查看文件內容
cat:從頭日後看 tac表示從後往前看。
查看HDFS命令：hdfs dfs -cat /input/data.txt
（8）cp---拷貝文件--重寫覆蓋的過程
HDFS拷貝命令:hdfs dfs -cp /input/data.txt /input/datanew.txt
mv--重命名
（9）rm--刪除文件
-r表示刪除文件夾下的文件；
-f 表示強制刪除文件或目錄
（10）echo 查看環境變量的值
echo $JAVA_HOME
(11)ps 顯示進程
ps -ef 標註格式顯示每一個進程的信息
ps -ef |grep (你想要看的內容)
（12）tar 解壓或壓縮
解壓.tar.gz---tar -zxvf file.tar.gz
解壓.tar--- tar -xvf file.tar
解壓.tar.bz2---tar -jxvf file.tar.bz2
unzip .zip
unrar .rar
把x-->c 就是 壓縮。
4. **linux的目錄結構**
bin:經常使用命令
boot:linux的核心文件
dev:device
etc:配置文件
home:用戶的主目錄
lib(lib64):動態連接庫
mnt:掛載yum源
opt:主機外的軟件
opt/software--文件存放
opt/moudle--安裝路徑
tmp：主要是放臨時文件 HDFS配置的時候須要修改。
5. **經過winscp鏈接linux**
6. **linux安裝JDK**
（1）tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/moudle
（2）配置環境變量
JAVA_HOME=/opt/moudle/jdk1.8.0_181
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
（3）環境變量生效
source ~/.bash_profile
(4)驗證 echo $JAVA_HOME
javac
java
java -version
7. **安裝tree rpm包**
rpm:redhat linux packet manager
rpm -ivh tree-1.6.0-10.el7.x86_64.rpm
8. **初識Hadoop**
hadoop-2.7.3/----*Hadoop home*
├── bin----*hadoop 操做命令*
├── etc
│   └── hadoop----hadoop環境變量配置
├── include
├── lib
│   └── native
├── libexec
├── sbin---hadoop的集羣操做命令
└── share
├── doc
│   └── hadoop---hadoop的幫助
└── hadoop
├── common
├── hdfs
├── httpfs
├── kms
├── mapreduce
├── tools
└── yarn

9. **第一個 word count**
# 須要配置成 hadoop環境---後面會同講。 本地模式 僞分佈模式 全分佈#

(1)找到jar包
cd /opt/moudle/hadoop-2.7.3/share/hadoop/mapreduce
（2）運行命令
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/a.txt /root/output/wc2