Linux系統運維故障排查

一.思路
1.處理問題要求
2.通常思路

二.具體問題
1.網絡問題
(1)網絡不通
(2)網絡很慢
2.硬件問題
3.操做系統問題
(1)系統沒法正常啓動
(2)系統運行慢或死機
4.服務或程序問題
5.其餘

---

一.思路
1.處理問題要求：思路清晰、問題明確、快速解決，長時間的積累造成本身的一套解決問題的「反射弧」

2.通常思路：
(1)重視報錯信息：定位基本問題基本方向
(2)查詢日誌文件：報錯信息有時只是問題的表象，想要更具體的瞭解問題，通常須要查看相應日誌，如系統日誌文件（/var/log）、應用日誌文件
(3)分析、定位問題：結合報錯信息和日誌文件以及相應的環境（代碼、系統磁盤、系統內存、各個進程運行狀況等等）或者自身和他人經驗來定位問題
(4)解決問題：找到問題基本上就能解決問題

系統日誌
http://c.biancheng.net/cpp/html/2783.html
https://www.cnblogs.com/yingsong/p/6022181.html

 

二.具體實例
1.網絡問題
網絡問題是什麼，是不通，仍是慢？

　　1). 若是是網絡不通，要定位具體的問題，通常是不斷嘗試排除不可能故障的地方，最終定位問題根源。通常須要查看

　　　　是否接入到鏈路

　　　　是否啓用了相應的網卡

　　　　本地網絡是否鏈接

　　　　DNS故障

　　　　可否路由到目標主機

　　　　遠程端口是否開放

　　2). 若是是網絡速度慢，通常有如下幾個方式定位問題源：

　　　　DNS是不是問題的源頭

　　　　查看路由過程當中哪些節點是瓶頸

　　　　查看帶寬的使用狀況
來源： http://www.cnblogs.com/Security-Darren/p/4700387.html

2.硬件的問題
查看/var/log/dmesg 或者用 dmesg命令
http://t.cn/RubBMqR

3.操做系統的問題
1)系統沒法正常啓動：
（1）文件系統被破壞，好比linux根分區文件遭到破壞（通常是系統忽然斷電或者非法關機致使）
（2）文件系統配置不當，好比/etc/inittab 、/etc/fstab文件等配置錯誤或丟失致使系統錯誤(通常是人爲配置錯誤)

centos7 中init進程

https://blog.csdn.net/Holmofy/article/details/69666962

centos5中

inittab文件
https://www.linux178.com/linux/inittab.html
http://blog.51cto.com/leejia/788895

fstab文件：
http://blog.itpub.net/26723566/viewspace-753700/

（3）內核文件丟失或者崩潰（內核升級或者內核存在bug致使）
https://www.jianshu.com/p/e1f550ba164d
內核升級 http://seanlook.com/2014/10/24/upgrade-centos6_kernel-to-3.10.x/
（4）系統引導程序出現問題，好比grub丟失或者損壞（人爲修改配置錯誤或者文件系統故障）

引導程序 Boot Loader 就是在操做系統內核運行以前運行的一段小程序。經過這段小程序，咱們能夠初始化硬件設備、創建內存空間的映射圖，從而將系統的軟硬件環境帶到 一個合適的狀態，以便爲最終調用操做系統內核作好一切準備。Boot Loader有若干種，其中Grub、Lilo是常見的Loader。系統讀取內存中的grub配置信息（通常爲menu.lst或grub.lst），並依照此配置信息來啓動不一樣的操做系統。

補充：

系統引導總體流程：

 

參考

https://blog.csdn.net/zhaodedong/article/details/47711499

http://blog.51cto.com/12410094/1951058
http://www.runoob.com/linux/linux-system-boot.html

Linux系統沒法啓動故障解決方案 http://www.voidcn.com/article/p-wnhepalc-gs.html下面的相關文章

4個最好的Linux引導程序 https://linux.cn/article-7788-1.html#3_515

2)系統運行很慢或者死機
系統運行慢的緣由
cpu佔用、內存佔用、IO佔用比較高
https://www.linuxidc.com/Linux/2011-10/44274.htm

通常形成Linux系統死機的緣由有：
系統硬件問題（SCSI卡，主板，RAID卡，HBA卡，網卡，硬盤等）
外圍硬件問題（網絡等）
軟件問題（系統、應用軟件）
驅動bug（找新的驅動）
核心系統bug（到LKML看看，或更換核心再試）
系統設置（恢復到缺省狀態，關閉防火牆等）

補充：
linux性能優化值cpu、內存、IO優化 https://blog.csdn.net/ZYC88888/article/details/79027944
linux性能調優指南https://legacy.gitbook.com/book/lihz1990/transoflptg/details（裏面的pdf文件）
Linux性能及調優指南：進程管理 http://blog.jobbole.com/105135/

4.服務或程序問題
redis客戶端常見異常https://blog.csdn.net/li396864285/article/details/76951278
Nginx常見錯誤及解決方法http://blog.51cto.com/riverxyz/1961151
nginx幾個常見異常https://www.jianshu.com/p/e72f2ea12eae
nginx或其餘網站報錯502錯誤常見問題總結 http://www.21yunwei.com/archives/3724
Mysql常見問題如鏈接數不夠、死鎖、SQL語句太慢
https://mp.weixin.qq.com/s/rvfRzGe2GB1OkQ_zQVQElA
http://www.ttlsa.com/mysql/mysql-common-error-analysis-and-solution-methods/

5.其餘Linux運維常見故障排查和處理的33個技巧彙總 https://mp.weixin.qq.com/s/hLaVQC3FPChGoEnrBtUJ3Q6 個 Linux 運維典型問題，大牛的分析解決思路在這裏 https://mp.weixin.qq.com/s/4oZqkcs8LQ-_X6SmsRe-yw從零起步作到Linux運維經理，你必須管好的23個細節https://mp.weixin.qq.com/s/24lNkVbO419G6gX52Xr7bQ