1、 磁盤在Linux中的表示mysql
1. Linux全部設備都被抽象爲一個文件,保存在dev目錄下linux
2. 設備名稱通常爲hd[a-z]或sd[a-z]([a-z爲分區號]),如:hda、hdb、sda、sdbsql
3. IDE設備的名稱爲hd[a-z],SATA、SCSI、SAS、USB等設備的名稱爲sd[a-z]windows
4. 不一樣的分區用:設備名稱+分區號 的方式表示,如sda一、sda2安全
5. 主流的分區機制分爲MBR和GPT兩種bash
MBR(Master Boot Record)服務器
傳統的分區機制,應用於絕大多數使用BIOS的PC設備網絡
MBR支持分區數量有限,且只支持不超過2T的硬盤,超過2T的硬盤將只能使用2T空間(有第三方解決辦法),使用MBR分區機制,其硬盤的前512個字節被MBR相關信息佔用架構
主分區:只能建立4個主分區ssh
擴展分區:一個擴展分區會佔用一個主分區位置
邏輯分區:Linux最多支持63個IDE分區和15個SCSI分區(即SATA、SAS、USB等都是使用的SCSI驅動)
GPT(GUID Partition Table)
是一個較新的分區機制,解決了MBR的不少缺點
支持超過2T的磁盤
向後兼容MBR
必須支持UEFI的硬件上才能使用
必須使用64bit系統
Mac、Linux系統都能支持GPT分區格式
Win 7 64bit、windowsServer 2008 64bit支持GPT
1、Linux系統目錄架構
1. bin
存放可執行的二進制文件,也就是命令
2. boot
引導目錄,存放全部跟引導和啓動有關係的文件。如操做系統的啓動,vmlinux爲內核文件,操做系統在啓動時第一個加載的就是內核
3. dev
將計算機上的硬件設備都被抽象爲一個文件,存放在dev下
4. etc
操做系統全部相關的配置文件
5. home
家目錄,操做系統的全部用戶命名的文件夾存放於home下,用於保存全部用戶的私有文件,至關於windows中的個人文檔,但root用戶是直接存在於 / 下的
6. lib
linux程序運行全部相關的庫文件
7. media
自動掛載用的
8. mnt
也是掛載用的,全部的操做系統都會有mnt,但不必定會有media
9. opt
一般用來裝一些大型的軟件,但並非強制的
10. proc
只存在於內存當中的虛擬文件,不存在於系統的硬盤上,其中存放一些系統的實時信息
11. sbin
和bin目錄同樣,都是存放可執行的二進制文件,但bin目錄中是全部用戶均可執行的文件,而sbin是root用戶可執行的文件
12. sys
存放系統底層的一些信息
13. tmp
存放臨時文件的目錄,隔段時間tmp目錄會自動刪除其中內容
14. usr
保存安裝的應用軟件,一般狀況下軟件安裝在usr下
15. var
保存一些常常變化的信息, 一般是服務器的一些信息、操做系統的全部日誌信息、郵件信息等
16. lost+found
在格式化磁盤時會出現lost+found目錄,對於損壞的找不到路徑的文件,會將其放入lost+found
2、文件系統
操做系統經過文件系統管理文件及數據,磁盤或分區須要建立文件系統以後纔可以爲操做系統使用,建立文件系統的過程又稱之爲格式化。
· 沒有文件系統的設備又稱之爲裸(raw)設備
· 常見的文件系統有fat3二、NTFS、ext二、ext三、ext四、xfs、HFS等
· 文件系統之間的區別:日誌、支持的分區大小、支持的單個文件大小、性能等
· windows下的主流文件系統是:NTFS
· Linux下的主流文件系統是:Ext三、Ext4
3、JOURNAL日誌
帶日誌的文件系統(ext三、ext4)擁有較強的穩定性,在出現錯誤時能夠進行恢復。
使用帶日誌的文件系統,文件系統會使用一個叫作「兩階段提交」的方式進行磁盤操做,當進行磁盤操做時,文件系統進行如下操做:
(1) 文件系統將準備執行的事務的具體內容寫入日誌
(2) 文件系統進行操做
(3) 操做成功後,將事務的具體內容從日誌中刪除
這樣作的好處是,當事務執行的時候若是出現意外(如斷電或磁盤故障),能夠經過查詢日誌進行恢復操做。缺點是會喪失必定的性能(額外的日誌讀寫操做)。
4、通常操做
1. rm -rf linked_name 刪除符號軟鏈接名
2. hadoop fs -rmr file_name 刪除hadoop中的文件
3. 設置hadoop環境變量
(1) 對全部用戶生效(永久的)
root權限下VI 文件 /etc/profile,在最後添加新的一行:
export HADOOP_HOME=/usr/local/hadoop (hadoop文件夾存放於此)
export PATH=$HADOOP_HOME/bin:$PATH
保存並退出,執行source /etc/profile使文件當即生效
(2) 對單一用戶生效(永久的)
當前用戶下VI當前用戶中的.bash_profile文件(以用戶hadoop爲例) /home/hadoop/.bash_profile,剩下操做同(1)
最後source /home/hadoop/.bash_profile
4. 刪除centOS7下原生的mariadb:
查找已安裝的:
rpm -qa | grep mariadb(或mysql)
刪除安裝包:
yum remove mariadb*(或mysql*,依據查找到的名字刪除)
5. 使hadoop用戶擁有sudo權限且不用輸入密碼
1. root用戶下 vi /etc/sudoers
2. 參考sudoers文件中已有的一行:root ALL=(ALL:ALL) ALL,
第一個ALL是指能夠在全部ip下使用,括號裏的ALL應該是能夠以哪些賬號來使用,括號後面的ALL是能夠在執行哪些命令時不輸入密碼。ALL是指全部,也能夠根據須要來具體配置,好比像下面這樣:
deployment ALL=(ALL) NOPASSWD: /bin/rm, /bin/mkdir, /usr/bin/rsync
6. IP地址介紹
DNS:把IP和域名相互解析的工具
HWaddr:Mac地址
lo:迴環接口,地址通常爲127.0.0.1
重啓網絡(使修改後的網絡配置生效)
/etc/init.d/network restart 比service network restart要好
經過lspci命令能夠查看網卡硬件信息(若是是usb網卡,則可能須要使用lsusb,命令)
命令ifconfig用來查看接口信息
ifconfig -a 查看全部接口
ifconfig eth0 查看特定接口
命令ifup、ifdown用來啓用、禁用一個接口
ifup eth0
ifdown eth0
7. 網絡相關配置文件
網卡配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0
DNS配置文件 /etc/resolv.conf
主機名配置文件 /etc/sysconfig/network
靜態主機名配置文件 /etc/hosts
8. 網絡測試命令
測試網絡連通性:
ping 192.168.1.1
ping www.baidu.com
測試DNS解析:
host www.baidu.com
dig www.baidu.com
顯示路由表:
ip route
追蹤到達目的地址的網絡路徑(即到達目標地址所通過的路由設備):
traceroute www.baidu.com
使用mtr進行網絡質量測試(結合traceroute和ping):
mtr www.baidu.com
9. 網絡故障排查
遵循從底層到高層、從吱聲到外部的流程進行
先查看網絡配置信息是否正確
-IP地址
-子網掩碼
-網關
-DNS
查看到達網關是否聯通
ping 網關IP地址
查看DNS解析是否正常
host www.baidu.com
host www.126.com
host www.douban.com
10. linux下,如何把整個文件夾上傳到服務器(另外一臺linux)
Linux下目錄複製:本機->遠程服務器
scp -r /home/shaoxiaohu/test1 zhidao@192.168.0.1:/home/test2
注:若是端口號有更改,需在scp 後輸入:-P 端口號 (注意是大寫,ssh的命令中 -p是小寫)
(!!!)11. SSH之間互通
[root@master-hadoop ~]
# su - hadoop
[hadoop@master-hadoop ~]$
ssh
-keygen -t rsa
#一直回車生成密鑰
[hadoop@master-hadoop ~]$
cd
/home/hadoop/
.
ssh
/
[hadoop@master-hadoop .
ssh
]$
ls
id_rsa id_rsa.pub
[hadoop@slave1-hadoop ~]$
mkdir
/home/hadoop/
.
ssh
#登陸兩臺建立.ssh目錄
[hadoop@slave2-hadoop ~]$
mkdir
/home/hadoop/
.
ssh
[hadoop@master-hadoop .
ssh
]$
scp
id_rsa.pub hadoop@slave1-hadoop:
/home/hadoop/
.
ssh
/
[hadoop@master-hadoop .
ssh
]$
scp
id_rsa.pub hadoop@slave2-hadoop:
/home/hadoop/
.
ssh
/
[hadoop@slave1-hadoop ~]$
cd
/home/hadoop/
.
ssh
/
[hadoop@slave1-hadoop .
ssh
]$
cat
id_rsa.pub >> authorized_keys
[hadoop@slave1-hadoop .
ssh
]$
chmod
600 authorized_keys
[hadoop@slave1-hadoop .
ssh
]$
chmod
700 ../.
ssh
/
#目錄權限必須設置700
[root@slave1-hadoop ~]
# vi /etc/ssh/sshd_config #開啓RSA認證
RSAAuthentication
yes
PubkeyAuthentication
yes
AuthorizedKeysFile .
ssh
/authorized_keys
[root@slave1-hadoop ~]
# service sshd restart
12. 定時時間校準
以192.168.100.233爲時間服務器,其餘服務器對其定時校對時間:
其餘服務器在root用戶下輸入crontab -e進入界面
輸入:10 1 * * * /usr/sbin/ntpdate 192.168.100.233
表示:1點十分 年 月 日 ntpdate指令 時間服務器
13. hadoop離開安全模式
hadoop dfsadmin -safemode leave
14.Linux鏈接wifi
1. 查看是否須要安裝固件
大多無線網卡還須要固件。內核通常會自動探測並加載二者,若是您獲得相似 SIOCSIFFLAGS: No such file or directory 的輸出,意味着您得手動加載固件。若不肯定,用 dmesg 查詢內核日誌,看看有沒有來自無線網卡的固件請求。好比您有 Intel 芯片組,輸出大概是這樣:
# dmesg | grep firmware
firmware: requesting iwlwifi-5000-1.ucode
若無輸出,代表系統的無線芯片不須要固件。
2. 查看無線網口:
#iw dev(interface後面即爲無線網口號)
3. 激活無線網絡接口:
# ip link set wls1 up
爲了檢驗接口是否激活成功,您能夠查看如下命令的輸出:
# ip link show wls1
3: wls1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state DOWN mode DORMANT group default qlen 1000 link/ether 00:11:22:33:44:55 brd ff:ff:ff:ff:ff:ff
<BROADCAST,MULTICAST,UP,LOWER_UP> 中的UP 代表該接口激活成功,後面的 state DOWN 可有可無。
4. 查看無線網絡鏈接狀況:
#iw wls1 link
剛開始應該會顯示無鏈接
5. 掃描可鏈接的wifi
#iw wls1 scan | grep SSID
掃描可用的網絡
6. 鏈接指定的SSID
# wpa_supplicant -B -i wlp3s0 -c <(wpa_passphrase "ssid" "psk")
將ssid 替換爲實際的網絡名稱,psk 替換爲無線密碼,請保留引號。
7. 用dhcp 得到 IP 分配:
# dhclient wlp3s0
8. 測試是否成功地從路由器獲取了ip(重要)
#ip addr show wls1
若是分配有ip,便可上網,也能夠有ping直接測試