Hadoop平臺搭建與維護中相關Linux知識

1、 磁盤在Linux中的表示mysql

1. Linux全部設備都被抽象爲一個文件,保存在dev目錄下linux

2. 設備名稱通常爲hd[a-z]或sd[a-z]([a-z爲分區號]),如:hda、hdb、sda、sdbsql

3. IDE設備的名稱爲hd[a-z],SATA、SCSI、SAS、USB等設備的名稱爲sd[a-z]windows

4. 不一樣的分區用:設備名稱+分區號 的方式表示,如sda一、sda2安全

5. 主流的分區機制分爲MBR和GPT兩種bash

    MBR(Master Boot Record)服務器

        傳統的分區機制,應用於絕大多數使用BIOS的PC設備網絡

        MBR支持分區數量有限,且只支持不超過2T的硬盤,超過2T的硬盤將只能使用2T空間(有第三方解決辦法),使用MBR分區機制,其硬盤的前512個字節被MBR相關信息佔用架構

        主分區:只能建立4個主分區ssh

        擴展分區:一個擴展分區會佔用一個主分區位置

        邏輯分區:Linux最多支持63個IDE分區和15個SCSI分區(即SATA、SAS、USB等都是使用的SCSI驅動)

    GPT(GUID Partition Table)

        是一個較新的分區機制,解決了MBR的不少缺點

        支持超過2T的磁盤

        向後兼容MBR

        必須支持UEFI的硬件上才能使用

        必須使用64bit系統

        Mac、Linux系統都能支持GPT分區格式

        Win 7 64bit、windowsServer 2008 64bit支持GPT

        

1、Linux系統目錄架構

1. bin

    存放可執行的二進制文件,也就是命令

2. boot

    引導目錄,存放全部跟引導和啓動有關係的文件。如操做系統的啓動,vmlinux爲內核文件,操做系統在啓動時第一個加載的就是內核

3. dev

    將計算機上的硬件設備都被抽象爲一個文件,存放在dev下

4. etc

    操做系統全部相關的配置文件

5. home

    家目錄,操做系統的全部用戶命名的文件夾存放於home下,用於保存全部用戶的私有文件,至關於windows中的個人文檔,但root用戶是直接存在於 / 下的

6. lib

    linux程序運行全部相關的庫文件

7. media

    自動掛載用的

8. mnt

    也是掛載用的,全部的操做系統都會有mnt,但不必定會有media

9. opt

    一般用來裝一些大型的軟件,但並非強制的

10. proc

    只存在於內存當中的虛擬文件,不存在於系統的硬盤上,其中存放一些系統的實時信息

11. sbin

    和bin目錄同樣,都是存放可執行的二進制文件,但bin目錄中是全部用戶均可執行的文件,而sbin是root用戶可執行的文件

12. sys

    存放系統底層的一些信息

13. tmp

    存放臨時文件的目錄,隔段時間tmp目錄會自動刪除其中內容

14. usr

    保存安裝的應用軟件,一般狀況下軟件安裝在usr下

15. var

    保存一些常常變化的信息,  一般是服務器的一些信息、操做系統的全部日誌信息、郵件信息等

16. lost+found

    在格式化磁盤時會出現lost+found目錄,對於損壞的找不到路徑的文件,會將其放入lost+found

2、文件系統

    操做系統經過文件系統管理文件及數據,磁盤或分區須要建立文件系統以後纔可以爲操做系統使用,建立文件系統的過程又稱之爲格式化。

    · 沒有文件系統的設備又稱之爲裸(raw)設備

    · 常見的文件系統有fat3二、NTFS、ext二、ext三、ext四、xfs、HFS等

    · 文件系統之間的區別:日誌、支持的分區大小、支持的單個文件大小、性能等

    · windows下的主流文件系統是:NTFS

    · Linux下的主流文件系統是:Ext三、Ext4

    

3、JOURNAL日誌

    帶日誌的文件系統(ext三、ext4)擁有較強的穩定性,在出現錯誤時能夠進行恢復。

    使用帶日誌的文件系統,文件系統會使用一個叫作「兩階段提交」的方式進行磁盤操做,當進行磁盤操做時,文件系統進行如下操做:

    (1)  文件系統將準備執行的事務的具體內容寫入日誌

    (2)  文件系統進行操做

    (3)  操做成功後,將事務的具體內容從日誌中刪除

    這樣作的好處是,當事務執行的時候若是出現意外(如斷電或磁盤故障),能夠經過查詢日誌進行恢復操做。缺點是會喪失必定的性能(額外的日誌讀寫操做)。

4、通常操做

    1. rm -rf linked_name        刪除符號軟鏈接名

    2. hadoop fs -rmr file_name        刪除hadoop中的文件

    3. 設置hadoop環境變量

        (1) 對全部用戶生效(永久的)

                root權限下VI 文件 /etc/profile,在最後添加新的一行:

                export HADOOP_HOME=/usr/local/hadoop  (hadoop文件夾存放於此)

                export PATH=$HADOOP_HOME/bin:$PATH

                保存並退出,執行source /etc/profile使文件當即生效

        (2) 對單一用戶生效(永久的)

                當前用戶下VI當前用戶中的.bash_profile文件(以用戶hadoop爲例)  /home/hadoop/.bash_profile,剩下操做同(1)

                最後source /home/hadoop/.bash_profile

    4. 刪除centOS7下原生的mariadb:

        查找已安裝的:

                rpm -qa | grep mariadb(或mysql)

        刪除安裝包:

                yum remove mariadb*(或mysql*,依據查找到的名字刪除)

    5. 使hadoop用戶擁有sudo權限且不用輸入密碼

        1. root用戶下 vi /etc/sudoers

        2. 參考sudoers文件中已有的一行:root  ALL=(ALL:ALL) ALL,

第一個ALL是指能夠在全部ip下使用,括號裏的ALL應該是能夠以哪些賬號來使用,括號後面的ALL是能夠在執行哪些命令時不輸入密碼。ALL是指全部,也能夠根據須要來具體配置,好比像下面這樣:

deployment ALL=(ALL) NOPASSWD: /bin/rm, /bin/mkdir, /usr/bin/rsync

    6. IP地址介紹

        DNS:把IP和域名相互解析的工具

        HWaddr:Mac地址

        lo:迴環接口,地址通常爲127.0.0.1

        重啓網絡(使修改後的網絡配置生效)        

            /etc/init.d/network restart 比service network restart要好

        經過lspci命令能夠查看網卡硬件信息(若是是usb網卡,則可能須要使用lsusb,命令)

        命令ifconfig用來查看接口信息

            ifconfig -a    查看全部接口

            ifconfig eth0    查看特定接口

        命令ifup、ifdown用來啓用、禁用一個接口

            ifup eth0

            ifdown eth0

        7. 網絡相關配置文件

            網卡配置文件    /etc/sysconfig/network-scripts/ifcfg-eth0

            DNS配置文件    /etc/resolv.conf

            主機名配置文件    /etc/sysconfig/network

            靜態主機名配置文件    /etc/hosts

        8. 網絡測試命令

            測試網絡連通性:

                ping 192.168.1.1

                ping www.baidu.com

            測試DNS解析:

                host www.baidu.com

                dig www.baidu.com

            顯示路由表:

                ip route

            追蹤到達目的地址的網絡路徑(即到達目標地址所通過的路由設備):

                traceroute www.baidu.com

            使用mtr進行網絡質量測試(結合traceroute和ping):

                mtr www.baidu.com

        9. 網絡故障排查

            遵循從底層到高層、從吱聲到外部的流程進行

            先查看網絡配置信息是否正確

                    -IP地址

                    -子網掩碼

                    -網關

                    -DNS

            查看到達網關是否聯通

                    ping 網關IP地址

            查看DNS解析是否正常

                    host www.baidu.com

                    host www.126.com

                    host www.douban.com

        10. linux下,如何把整個文件夾上傳到服務器(另外一臺linux)             

              Linux下目錄複製:本機->遠程服務器

              scp  -r /home/shaoxiaohu/test1  zhidao@192.168.0.1:/home/test2

              注:若是端口號有更改,需在scp 後輸入:-P 端口號 (注意是大寫,ssh的命令中 -p是小寫)


   (!!!)11. SSH之間互通

[root@master-hadoop ~]# su - hadoop

[hadoop@master-hadoop ~]$ ssh-keygen -t rsa     #一直回車生成密鑰

[hadoop@master-hadoop ~]$ cd/home/hadoop/.ssh/

[hadoop@master-hadoop .ssh]$ ls

id_rsa  id_rsa.pub

[hadoop@slave1-hadoop ~]$ mkdir /home/hadoop/.ssh   #登陸兩臺建立.ssh目錄

[hadoop@slave2-hadoop ~]$ mkdir /home/hadoop/.ssh

[hadoop@master-hadoop .ssh]$ scp id_rsa.pub hadoop@slave1-hadoop:/home/hadoop/.ssh/

[hadoop@master-hadoop .ssh]$ scp id_rsa.pub hadoop@slave2-hadoop:/home/hadoop/.ssh/

[hadoop@slave1-hadoop ~]$ cd/home/hadoop/.ssh/

[hadoop@slave1-hadoop .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 600 authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 700 ../.ssh/   #目錄權限必須設置700

[root@slave1-hadoop ~]# vi /etc/ssh/sshd_config   #開啓RSA認證

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

[root@slave1-hadoop ~]# service sshd restart

 

       12. 定時時間校準

                    以192.168.100.233爲時間服務器,其餘服務器對其定時校對時間:

                    其餘服務器在root用戶下輸入crontab -e進入界面

                    輸入:10 1 * * * /usr/sbin/ntpdate 192.168.100.233

                    表示:1點十分 年 月 日 ntpdate指令 時間服務器


        13. hadoop離開安全模式

                hadoop dfsadmin -safemode leave


        

        14.Linux鏈接wifi

    1. 查看是否須要安裝固件

大多無線網卡還須要固件。內核通常會自動探測並加載二者,若是您獲得相似 SIOCSIFFLAGS: No such file or directory 的輸出,意味着您得手動加載固件。若不肯定,用 dmesg 查詢內核日誌,看看有沒有來自無線網卡的固件請求。好比您有 Intel 芯片組,輸出大概是這樣:
# dmesg | grep firmware
firmware: requesting iwlwifi-5000-1.ucode
若無輸出,代表系統的無線芯片不須要固件。

    2. 查看無線網口:

#iw dev(interface後面即爲無線網口號)

    3. 激活無線網絡接口:

# ip link set wls1 up 
爲了檢驗接口是否激活成功,您能夠查看如下命令的輸出:
# ip link show wls1
3: wls1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state DOWN mode DORMANT group default qlen 1000 link/ether 00:11:22:33:44:55 brd ff:ff:ff:ff:ff:ff 
<BROADCAST,MULTICAST,UP,LOWER_UP> 中的UP 代表該接口激活成功,後面的 state DOWN 可有可無。

    4. 查看無線網絡鏈接狀況:

#iw wls1 link
剛開始應該會顯示無鏈接

    5. 掃描可鏈接的wifi

#iw wls1 scan | grep SSID

掃描可用的網絡

    6. 鏈接指定的SSID

# wpa_supplicant -B -i wlp3s0 -c <(wpa_passphrase "ssid" "psk") 
將ssid 替換爲實際的網絡名稱,psk 替換爲無線密碼,請保留引號。

    7. 用dhcp 得到 IP 分配:

# dhclient wlp3s0 

    8. 測試是否成功地從路由器獲取了ip(重要)

#ip addr  show wls1

若是分配有ip,便可上網,也能夠有ping直接測試

相關文章
相關標籤/搜索