《OD學hadoop》第一週0625

1、實用網站

1. linux內核版本 www.kernel.org

2. 查看網站服務器使用的系統  www.netcraft.com

2、推薦書籍

1. 《Hadoop權威指南》

1-3版： Hadoop1系列

4版（目前僅有英文原版）：Hadoop2系列

yarn高可用性，HA

2. 《Hive權威指南》 

3. 《MapReduce設計模式》

4. 《HBase權威指南》

5. 《鳥哥的Linux私房菜》

6. 《Vim使用技巧》、《學習vi和Vim編輯器》

3、Linux基礎

 無線網密碼： kang1234 

1. centos用戶名密碼 root 123456

2. 經常使用命令

1）ifconfig查看網絡信息

清屏  clear 或者ctrl+l

2）Linux系統下設置靜態IP或自動獲取動態IP的簡單方法 

vi /etc/sysoconfig/network-scripts/ifcfg-eth0

DNS1=192.168.189.2（網關地址）

service network restart

more /etc/resolv.conf

mac中的linux須要修改mac地址

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata-senior01.ibeifeng.com

ping通外網須要增長DNS

3）copy的Linux虛擬機網卡問題

http://www.dabu.info/vmware-clone-or-copy-the-linux-virtual-machine-eth0-not-find-the-solution-vmware-copy-copy-or-clone-clone-no-card-rpm.html

http://www.cnblogs.com/yiru/archive/2012/12/03/2799079.html

4）遠程鏈接

SecurityCRT,xshell，xmanager, filezilla, notepad++

5）linux一切皆文件，目錄也是文件

6）etc目錄

ls -la /etc/

more  

ONBOOT=yes

BOOTPROTO=none、DHCP、static（實際工做用的較多）

7）root目錄

root用戶的主目錄(家目錄)

8）home目錄

9）bin sbin

10）boot 系統啓動時加載的文件

11）ls命令

ls -l (long)

ls -a (all)

ls -la

ls -d 查看目錄自己屬性

ls -ld

12）mkdir

mkdir -p 級聯建立目錄

13）touch

touch "program files" 建立帶空格的文件

14）rmdir

rmdir 刪除空的目錄

15）

rm 刪除一個文件

rm -r 刪除一個目錄，有提示

rm -rf 刪除非空目錄，無提示

16）cp

cp -r

17）mv 

18)

增:

刪:

改:

查： Linux 查看文件內容的命令

cat:

more： 分頁顯示   空格分頁查看，回車逐行查看

head： 查看文件開始行 head -n 

tail：查看文件末尾行  tail -n  

find: 查找

第一種：根據文件名來查找

在搜索的時候，儘可能縮小搜索的範圍，減小搜索的時間和資源消耗。

* 表明任意字符

? 表明任意單個字符

find / -name init

find /etc/ -name init

find /etc/ -name *init*

find /etc/ -name init*

find /etc/ -name init???

-i 不區分大小寫

find /etc/ -iname init???

第二種，根據文件的大小來查找 

find / -size

+ 表示大小

- 表示小於

不加 表示等於

-size  後面跟的大小是按照數據塊的大小來進行緩存的

Linux中數據塊大小是512字節，0.5K

100MB， 1MB = 1024KB， 100MB = 102400 KB

find / -size +204800

第三種，根據文件全部者查找

find /root/ -user root

第四種，根據文件全部組查找

find /root/ -group root

 

-a and 

-o or

-type f  d

大於80M且小於100M

find /etc/ -size +163860 -a -size -204800

小於80M或者大於100M

find /etc/ -size -163860 -o -size +204800 

find /etc/ -name init* -a -type f

19) Linux權限

drwxr-xr-x

d 表明data，表示目錄，能夠理解爲一個佔位符

rwx: 全部者(user,u)

r-x：所屬組(group, g)

r-x:  其餘人(other, o)

r: 讀 cat、head、more、tail

w: 寫 mkdir、touch、vi、rm、cp、mv

x：執行 cd

第一種用字母表示： u,g,o

第二種用數字表示：

r：4

w：2

x： 1

-rwxr-xr-x 755

-rw-r--r-- 644

示例：

（1）用字母賦予權限

修改權限命令：chmod

賦予權限用加號+表示：chmod u+x program

同時賦予權限 chmod g+x,o+x program

撤銷權限chmod g-x progam

（2）用數字賦予權限（工做中用數字較多）

chmod 777 program

（3）目錄有權限，則目錄中的文件也會有文件

20）

root:x:0:0:root:/root:/bin/bash

每一列以冒號隔開，其中第三列和第四列：UID和GID

組：teacher組中t1,t2,t3...

cat /etc/passwd

cat /etc/group 

建立用戶： user add xxx

建立組： groupadd xxx

設置密碼：

第一種設置密碼方式 passwd username

第二種設置密碼方式 echo 'beifeng' | passwd --stdin username

不只切換了用戶並且聯通shell環境也一塊兒切換: su - username

切換的僅僅是用戶: su username

id root

uid=0(root) gid=0(root) groups=0(root)

uid=500(beifeng) gid=500(beifeng) groups=500(beifeng)

刪除用戶：

userdel username

userdel -r username

sudo username

21）man

man visudo

man 5 sudoers

 

4、VI編輯器

linux下vi命令大全

1. VI的三種模式

（1）命令模式

esc 進入命令模式

（2）插入模式

（3）最後行模式

shift + :

w  寫入保存

q  退出

wq 保存並退出

! 強制操做

q! 不保存修改直接退出

2. 快捷鍵

（1）光標快速移動到最後一行  大寫G

（2）顯示行數 shift + :       set nu

（3）光標快速移動到第一行  小寫gg

（4）刪除光標所在行  小寫dd

（5）刪除多行，好比三行，小寫3dd

（6）撤回修改   小寫u

（7）粘貼 小寫p

（8）賦值，複製yy

（9）替換，:1$s/nologin/88888/g

1表明第一行

$表明最後一行

s表明替換

/nologin  被替換內容

/88888 替換內容

g表明通行替換

1,$ 就是一個範圍，