【Linux基礎01】-運維人員職責及硬件認識

時間 2019-12-20

原文原文鏈接

本章重點：

運維人員三大原則php

程序、進程、守護進程的區別前端

高併發寫入和讀取思想java

緩衝buffer和緩存cachegit

硬件設備IO性能對比redis

隨機存儲和順序存儲shell

硬盤性能與價格排序數據庫

Raid做用和常見級別緩存

1、運維人員核心職責

1.1 網站數據不丟失、不泄密

監控（及時發現問題）安全
備份（可用）服務器
規範（本身、他人）

**1.2 網站「7*24」不間斷服務**

企業高可用標準（故障轉移）
高可用架構設計（硬件、軟件等）

可用度A	9的個數	年停機時間（分鐘）	適用產品
0.999	三個9	500	電腦或服務器
0.9999	四個9	50	企業級設備
0.99999	五個9	5	通常電信級設備
0.999999	六個9	0.5	更高要求電信級設備

1.3 提高用戶體驗

優化（硬件、操做系統、架構等）
緩存
業務（分離）
高性能架構設計

* 具體工做職責

系統管理、緊急故障處理
平常服務器監控
完成一些項目：備份、遷移、升級、搭建一些服務、擴容、縮容
日誌收集及展現（ELK）
代碼上線（shell腳本+git+Jenkins）
平常的文檔整理，畫圖等

2、服務器(PC server）

2.1 服務器介紹

服務器類型	介紹	分類	特性	品牌	人羣
物理服務器	搭建網站使用的服務器，相對於普通家用電腦，處理能力、穩定性、可靠性、安全性、可擴展性、可管理性都相對較高	機架式（最經常使用）	有2U，3U，4U的種類，通常安放在19寸機櫃裏	DELL（最經常使用，性價比高）（收購EMC） HP（部分） IBM（POWERPC、存儲，收購redhat），配置高，價格貴，黑盒運行，去「IOE」，傳統大企業（百度）用聯想（收購IBMPC、家用筆記本）浪潮（傳統企業、學校）航天聯志華爲	中小型企業
		刀片式	標準高度的機架式機箱內插裝多個卡式服務器單元，每塊「刀片」都是一塊系統主板，擁有獨立的系統，單片性能低，可是集合成集羣后，即可以提供高速的網絡環境，共享資源，爲相同的用戶羣服務，支持熱插拔，能夠輕鬆替換，減小維護時間
		塔式	相似於「立式PC」，主板擴展性較強，高科技公司使用，體積大，不方便擴容管理
雲服務器	提供簡單高效、安全可靠、處理能力強、可彈性伸縮的計算服務，其管理方式比物理服務器更簡單高效。用戶無需提早購買硬件，便可迅速建立或釋聽任意多臺雲服務器，根據用戶的需求進行按量分配。	公有云	共享資源服務	阿里雲：使用最多騰訊雲：遊戲，APP.開發華爲雲百度雲金山雲西部數碼 AWS亞馬遜：正在快速佔領中國市場	中大型企業
		私有云	公司利用開源產品搭建本身的架構
		混合雲	公有云（高效）+私有云（安全）

2.2 服務器尺寸

服務器的高度以U（unit）來作計量單位，1U=1.75寸=4.45cm

2.3 服務器型號詳解

Dell服務器型號詳解

主流應用時間段	1U的主流型號	2U的主流型號
2010年之前	1850、1950	2850、2950
2010-2013年	R4十、R610	R710
2014-2016年	R420、R430、R620、R630	R720、R730
新產品	R6415	R740/R740xd/R7425

DELL 服務器型號

DELL R740機架式服務器（2U）

*服務器型號解釋：

R740：

R 機架式服務器（M=刀片 T=塔式）

7 CPU的個數：1-3 單路 4-7 雙路 8-9 四路

4 更新的代數：默認從第十代開始，此處表示第十四代

0 表示CPU的品牌：0=Intel；5=AMD

IBM服務器型號詳解

1U的主流型號

2U的主流型號

4U的主流型號

8U的主流型號

3550/M3

3550/M5

3650 M3/M4/M5

3850（更多）

3950

3、服務器核心硬件介紹

總覽：

電源

「電腦三大件」：內存和CPU、硬盤。

服務器硬件I/O性能對比

raid技術及級別

3.1 電源

服務器電源按照標準能夠分爲ATX電源和SSI電源兩種。ATX標準使用較爲廣泛，主要用於臺式機、工做站和低端服務器；而SSI標準是隨着服務器技術的發展而產生的，適用於各類檔次的服務器。
生產中通常單個服務器核心業務最好使用雙電源AB線路、雙路電。若是集羣（一堆機器作一件事）的狀況能夠不用雙電源。

服務器電源

3.2 CPU處理器

概念：服務器的CPU至關於人體的「大腦」，負責計算機的運算和控制，是服務器性能效率的最核心部件。
1. 服務器CPU

常見品牌：

CPU常見品牌	類型介紹
Intel（x86架構）	I 酷睿（家用） E 至強（服務器經常使用） IA 安騰（小型機，主頻很高）
AMD（x86架構）	少用
IBM	Power系列，小型機，主頻高

計算密集型CPU vs I/O密集型CPU
計算密集型CPU：數據分析、處理、清理，主頻很高（如遊戲、圖片處理等）
I/O密集型CPU：網站業務、數據庫業務，核心數很高(適合併發操做多的業務)
精簡指令集 vs 複雜指令集精簡指令集表明：SUN公司的SPARC系列和ARM系列指令精簡，執行時間短，操做簡單、有效率複雜指令集表明：Intel志強系列（XEON)指令數量多、指複雜、執行時間較長，處理事務更多、更豐富
企業經常使用CPU和內存配置通常企業裏的服務器，CPU個（顆）數爲2-4顆，單個（顆）CPU是四-十二核，內存總量通常是16G-256G（常見：32G，64G）；作虛擬化的宿主機（eg:安裝vmware（虛擬化軟件）的服務器），CPU顆數4-8顆，內存總量通常是48G-128G，6-10個虛擬機。
什麼是「路數」？
CPU的顆數也被稱爲「路數」，好比DELLR360雙路1U服務器
其餘

CPU通常經過頻率(GHz)表示性能好壞，頻率越高，速度越快
查看CPU頻率快捷鍵：WIN+R>dxdiag
CPU長時間運行須要風扇或者散熱片散熱
運維人員的常見工做之一：選擇CPU配置、監測和優化服務器系統CPU性能

1.4 內存及緩存

1）概念：內存是電腦的一個臨時存儲器，它只負責電腦數據的中轉而不能永久保存。

2）做用：在程序處理數據時，會先將磁盤的程序加載到內存，CPU執行內存程序

而後，會將磁盤上的要處理的文件也加載到內存，CPU調度程序處理數據

最終處理完成，程序退出內存，文件會保存到磁盤上

總而言之，內存就是程序工做的空間，能夠被稱爲「緩存」或「緩衝」

通常程序運行的時候會被調度到內存中執行，服務器關閉或程序關閉以後，數據自動從內存中釋放掉。

*內存是CPU可以直接訪問的存儲器，CPU從內存中讀取操做指令和數據，又把運算或處理結果送回內存。

3）大多數網站及企業業務都是以讀（瀏覽網頁）爲主，以寫（微博）爲輔

企業案例：

a.高併發寫入案例-搶紅包、微博

用戶往內存寫入數據》過一段時間或達到某個數量，寫入磁盤

優勢：性能高、速度快、減輕磁盤壓力

缺點：丟失一部分在內存中還未存入磁盤的數據，解決辦法：主板斷電保護、安裝蓄電池、UPS電池組、雙電路機房、柴油發電機+油罐

b.中小型企業讀取寫入案例

數據寫入磁盤》程序將數據讀入內存》用戶讀取內存中數據

使用redis、memcache等非關係數據庫軟件實現

4）商用通常都是ECC內存

5）內存的容量和處理速度直接決定了電腦數據傳輸的快慢，

6）規格：通常爲4-256G（集羣），8G（常見）、32G 、64G（虛擬化、數據庫），一臺服務能夠虛擬出10臺虛擬主機

7）內存劃分（RSS、Page Cache、Anon Page）——以地址位劃分

a. RSS：常駐內存集,內核和程序運行時所須要佔用的內存區域，是不能夠不置換出去的。

b. Anon page：匿名頁,程序與程序之間交互時使用到的內存區域

★c. Page cache：頁緩存

buffer：緩衝區，緩衝寫需求，緩衝修改類的操做

爲了提升操做性能，數據在寫入最終介質或下一層級介質前會合並放在緩衝區中（能夠類比爲旅行團），同時也會增長數據持久寫的延遲（使用Memcached或Redis軟件）

數據》內存》磁盤

cache：緩存，緩存讀需求。

將常常訪問的操做結果保存在緩存中，以隨時使用

讀取《內存《磁盤

口訣：寫緩衝，讀緩存

8）程序、進程、守護進程的區別

a. 程序：c/php/java，可執行的代碼文件，放在磁盤裏的數據。

b. 進程：正在運行着的程序，進程運行就是系統把程序放在內存裏執行。

c. 守護進程（daemon）：持續保持運行着的程序。

9）內存的速度比磁盤快，內存是電子的，磁盤是機械的

1.5 磁盤

1）硬盤簡單的說就是一個大容量存儲器（永久儲存），存儲視頻，文本，音頻等各類數據，成爲現代電腦不可缺乏的配件。

2）機械硬盤讀取性能比內存差，因此會將磁盤上的數據緩存到內存，寫入緩衝區中（解決網站訪問速度慢的經常使用方案）

3）磁盤接口

磁盤的接口：IDE，SCSI（IDE、SCSI退出歷史舞臺）,SAS(高速盤，企業級，最高900G），SATAI II III（SAS兼容SATA），SSD：SATA 接口，PCI-E接口（企業經常使用）

我的電腦：SATA、SSD

服務器：SAS、SSD，偶爾用SATA

4）磁盤的類型：hhd機械磁盤和ssd固態硬盤

5）性能與價格：Flash(閃存）>SSD（固態，用於短板業務上）>SAS> SATA

6）熱插拔：正在工做的時候進行插拔，企業級服務器支持硬盤熱插拔

7）規格：300G、600G、1TB、3TB、4TB、6TB

8）工業級（企業級）硬盤計算：以1000爲單位，1TB=1000GB

小結：

1. 企業高併發網站，都會盡可能讓用戶從內存中讀取數據，而不是硬盤

2. 網站、服務器、軟件優化的本質在於調整磁盤和內存之間的使用比

1.6 計算機與服務器各硬件I/O性能對比

1）IO：輸入輸出

IOPS（input /output per second）：每秒輸入輸出

2）CPU處理速度最快，其次是內存,最慢的就是硬盤和網卡了。未來作運維工做的時候，可從速度慢、瓶頸大的方向進行優化（例如，網卡、硬盤）

3）隨機存儲：任意寫入和讀取；連續存儲，對介質的壓力小：按必定的順序寫入和讀取，對介質的壓力大，使用效率更高

將隨機存儲變爲順序存儲，優化體驗。以買票爲例，利用消息隊列軟件，將上網購買行爲視爲1條消息，把消息當成排隊的人同樣，放在內存裏，將這些消息排隊，網站慢慢處理這些消息，至關於給你賣票

1.7 Raid技術(磁盤冗餘陣列）

1.7.1 服務器級別Raid,須要依賴於Raid卡（陣列卡），Raid卡也有緩存

1）做用：

a. 磁盤空間聚合:擴充容量

b. 數據冗餘(鏡像技術，備份):安全

c. 數據條帶化:性能

2）存儲級別RAID,須要依賴於專用的磁盤控制器

3）Raid分爲軟Raid（軟件實現）和硬Raid（硬件實現，服務器板載Raid卡-僅支持Raid0及Raid一、獨立Raid卡），硬件Raid實現性能、冗餘更好、更高

4）企業重要服務器裏Raid幾乎不被採用

1.7.2 Raid級別:

1）Raid 1

a. 針對安全性,實現的功能爲鏡像

b. 特色:至少兩塊盤構成的級別,最多能夠損壞1塊磁盤

c. 優勢:鏡像關係的磁盤,一塊磁盤損壞不影響正常使用

d. 缺點:要浪費掉50%空間

e. 重要數據；性能要求不高；容量要求不高

2）Raid 0

a. 針對性能的,實現的功能爲條帶化

b. 特色:至少兩塊盤構成的級別,不容許任意磁盤故障，會丟失所有數據

c. 優勢:讀寫速度能夠提升數倍

d. 缺點:無安全性.

e. 使用場合：不過重要的數據；要求性能高；要求容量高

3）Raid5

a. 較安全的一種級別,在部分磁盤損壞時,經過現存數據+校驗值,能夠"算出"損壞的數據,從而保證數據的完整性

b. 特色:至少須要三塊磁盤構成,最多容許壞一塊磁盤

c. 優勢:具有安全性,具有條帶化的功能,對於讀操做較多的業務是很適合的.

d. 缺點:

可是若是出現磁盤損壞,數據是能夠恢復的,可是應用幾乎是不能用的.

在寫入數據較頻繁的業務中性能極差的,因此不推薦在此場景使用的

浪費1/n的磁盤空間

4）Raid 10

a. 結合raid1+raid0級別

b. 最少要4塊磁盤,浪費1半磁盤空間,性能和安全性都最高

1.7.3 綜合對比raid級別

1）冗餘從好到壞：Raid1>Raid10>Raid5>Raid0

2）性能從好到壞：Raid0>Raid10>Raid5>Raid1

3）價格從低到高：Raid0<Raid5<Raid1<Raid10

6、計算機周邊設備

1.1 遠程管理卡

1）遠程管理（啓動、關機、重啓等）,查看開關過程當中的信息

2）遠程管理卡分爲自帶和獨立，建議配獨立的遠程管理卡，能夠快速查看服務器故障並恢復服務

3）遠程管理接口

a. DELL: iDRAC，集成DELL遠程管理卡

b. IBM : BMC

c. HP : ILO

1.2 KVM（集中管理終端）

訪問位於多個遠程位置的服務器和設備

1.3 PDU（機櫃用電源分配插座）

帶管理、監控功能

1.4 UPS（不間斷電源）

1.5 裝系統的方法

1）用U盤作鏡像

2）網絡安裝（ftp,http），無人值守批量安裝系統（pxe+kickstart/cobbler)

1.6 機房裏的服務器

1）安裝服務器時須要給服務器的各種線貼上規範標籤，標記每根線的用途

參考：

【上海IDC房地址】https://blog.csdn.net/qq_43316814/article/details/89631431

【拆解服務器】https://www.bilibili.com/video/av46656120?from=search&seid=8965085005516560663

1.7 主板（普通電腦）

1）概念：一塊電路板，至關於人體的「骨架」，CPU、內存、磁盤、Raid卡等全部硬件設備，都要鏈接主板工做

2）南橋芯片：離CPU較遠，PCI插槽附近，處理數據量不大，與北橋芯片相連，負責I/O總線（PCI總線、USB、LAN、ATA、SATA、音頻控制器、鍵盤控制器、實時時鐘控制器、高級電源管理等)間的通訊，發展方向是集成更多的功能（網卡、Raid、IEEE139四、WIFI無線網絡等）

北橋芯片：離CPU最近的芯片，處理數據量很是大，須要散熱片，負責與CPU聯繫，而且會控制內存、AGP數據在北橋內部的傳輸，提供對CPU的類型和主頻、系統的前端總線頻率、內存的類型（SDRAM、DDR SDRAM、RDRAM等）、最大容量、AGP插槽、ECC糾錯等支持，整合型芯片組的北橋芯片還集成了顯示核心。

BIOS芯片（CMOS芯片）：負責主板通電後各部件的自檢、設置和保存，一切正常後才能啓動操做系統，記錄了電腦最基本的信息，是硬件和軟件打交道的最基礎的橋樑，常見的BIOS：Award、AMI、Phoenix

1.8 計算機和服務器的主要構成圖解

7、計算機系統基礎

1.1 馮諾依曼計算機3條重要設計思想

1）計算機應由運算器、控制器、存儲器、輸入設備和輸出設備5大部分組成

2）以二進制的形式表示數據和指令

3）程序預先存入存儲器中，使計算機在工做中能自動從存儲器中取出程序指令並加以執行

1.2 計算機系統的基本工做原理

1.2.1 計算機的指令系統

1）指令：能被計算機識別並執行的二進制代碼，它規定了計算機能完成的某一種操做。

指令=操做碼+操做數

2）操做碼：指明指令要完成的操做，如存數、取數等，操做碼的位數（n）決定了指令的條數（2n）