雲架構師進階攻略(1)



此文已由做者劉超受權網易雲社區發佈。html

歡迎訪問網易雲社區,瞭解更多網易技術產品運營經驗。linux

 

1、架構的三個維度和六個層面程序員

             

1.一、三大架構web

在互聯網時代,要作好一個合格的雲架構師,須要熟悉三大架構。面試

第一個是IT架構,其實就是計算,網絡,存儲。這是雲架構師的基本功,也是最傳統的雲架構師應該首先掌握的部分,良好設計的IT架構,能夠下降CAPEX和OPEX,減輕運維的負擔。數據中心,虛擬化,雲平臺,容器平臺都屬於IT架構的範疇。算法

 

第二個是應用架構,隨着應用從傳統應用向互聯網應用轉型,僅僅搞定資源層面的彈性還不夠,經常會出現建立了大批機器,仍然撐不住高併發流量。於是基於微服務的互聯網架構,愈來愈成爲雲架構師所必需的技能。良好設計的應用架構,能夠實現快速迭代和高併發。數據庫,緩存,消息隊列等PaaS,以及基於SpringCloud和Dubbo的微服務框架,都屬於應用架構的範疇。sql

 

第三個是數據架構,數據成爲人工智能時代的核心資產,在作互聯網化轉型的同時,每每進行的也是數字化轉型,並有戰略的進行數據收集,這就須要雲架構師同時又大數據思惟。有意識的建設統一的數據平臺,並給予數據進行數字化運營。搜索引擎,Hadoop,Spark,人工智能都屬於數據架構的範疇。數據庫

 

1.二、六個層面編程

 

上面的三個維度是從人的角度出發的,若是從系統的角度出發,架構分六個層次。windows

         

第一個層次是基礎設施層,在數據中內心面,會有大量的機架,大量的服務器,並經過交換機和路由器將服務器鏈接起來,有的應用例如Oracle是須要部署在物理機上的。爲了管理的方便,在物理機之上會部署虛擬化,例如Vmware,能夠將對於物理機複雜的運維簡化爲虛擬機靈活的運維。虛擬化採起的運維方式可能是由運維部門統一管理,當一個公司裏面部門很是多的時候,每每要引入良好的租戶管理,基於Quota和QoS的資源控制,基於VPC的網絡規劃等,實現從運維集中管理到租戶自助使用模式的轉換,託生於公有云的OpenStack在這方面作的是比較好的。隨着應用架構愈來愈重要,對於標準化交付和彈性伸縮的需求愈來愈大,容器最爲軟件交付的集裝箱,能夠實現基於鏡像的跨環境遷移,Kubernetes是容器管理平臺的事實標準。

 

第二個層次是數據層,也即一個應用的中軍大營,若是是傳統應用,可能會使用Oracle,並使用大量的存儲過程,有大量的表聯合查詢,成本也每每比較高。可是對於高併發的互聯網應用,須要進行微服務的拆分,數據庫實例會比較多,使用開源的Mysql是常見的選擇,大量的存儲過程和聯合查詢每每會使得微服務沒法拆分,性能會比較差,於是須要放到應用層去作複雜的業務邏輯,數據庫表和索引的設計很是重要。當併發量比較大的時候,須要實現橫向擴展,就須要基於分佈式數據庫,也是須要基於單庫良好的表和索引設計。對於結構比較靈活的數據,可使用MongoDB數據庫,橫向擴展能力比較好。對於大量的聯合查詢需求,可使用ElasticSearch之類的搜索引擎來作,速度快,更加靈活。

 

第三個層次是中間件層,由於數據庫層每每須要保證數據的不丟失以及一些事務,於是併發性能不可能很是大,因此咱們常常說,數據庫是中軍大營,不能全部的請求都到這裏來,於是須要一層緩存層,用來攔截大部分的熱點請求。Memcached適合作簡單的key-value存儲,內存使用率比較高,並且因爲是多核處理,對於比較大的數據,性能較好。可是缺點也比較明顯,Memcached嚴格來說沒有集羣機制,橫向擴展徹底靠客戶端來實現。另外Memcached沒法持久化,一旦掛了數據就都丟失了,若是想實現高可用,也是須要客戶端進行雙寫才能夠。Redis的數據結構比較豐富,提供持久化的功能,提供成熟的主備同步,故障切換的功能,從而保證了高可用性。另外微服務拆分之後,有時候處理一個訂單要通過很是多的服務,處理過程會比較慢,這個時候須要使用消息隊列,讓服務之間的調用變成對於消息的訂閱,實現異步處理。RabbitMQ和Kafka是經常使用的消息隊列,當事件比較重要的時候,會結合數據庫實現可靠消息隊列。

 

第四個層次是基礎服務層,有的時候成爲中颱層,將通用的能力抽象爲服務對外提供原子化接口。這樣上層能夠根據業務需求,經過靈活的組合這些原子化接口,靈活的應對業務需求的變化,實現能力的複用,以及數據的統一管理,例如用戶數據,支付數據,不會分散到各個應用中。另外基礎服務層稱爲應用和數據庫和緩存的一個分界線,不該該全部的應用都直接連數據庫,一旦出現分庫分表,數據庫遷移,緩存選型改變等,影響面會很是大,幾乎沒法執行。若是將這些底層的變動攔截在基礎服務層,上層僅僅使用基礎服務層的接口,這樣底層的變化會對上層透明,能夠逐步演進。

 

第五個層次是業務服務層,或者組合服務層,大部分的業務邏輯都是在這個層面實現,業務邏輯比較面向用戶,於是會常常改變,因此須要組合基礎服務的接口進行實現。在這一層,會常常進行服務的拆分,實現開發獨立,上線獨立,擴容獨立,容災降級獨立。微服務的拆分不該該是一個運動,而應該是一個遇到耦合痛點的時候,不斷解決,不斷演進的一個過程。微服務拆分以後,有時候須要經過分佈式事務,保證多個操做的原子性,也是在組合服務層來實現的。

 

第六個層次是用戶接口層,也即對終端客戶呈現出來的界面和APP,可是卻不只僅是界面這麼簡單。這一層有時候稱爲接入層。在這一層,動態資源和靜態資源應該分離,靜態資源應該在接入層作緩存,使用CDN進行緩存。也應該UI和API分離,界面應該經過組合API進行數據拼裝。API會經過統一的API網關進行統一的管理和治理,一方面後端組合服務層的拆分對APP是透明的,一方面當併發量比較大的時候,能夠在這一層實現限流和降級。

 

爲了支撐這六個層次,在上圖的左側是一些公共能力。

·      持續集成和持續發佈是保證微服務拆分過程當中的快速迭代,以及變動後保證功能不變的,不引入新的Bug。

·      服務發現和服務治理是微服務之間互相的調用,以及調用過程當中出現異常狀況下的熔斷,限流,降級策略。

·      大數據和人工智能是經過收集各個層面的數據,例如用戶訪問數據,用戶下單數據,客服詢問數據等,結合統一的中臺,對數據進行分析,實現智能推薦。

·      監控與APM是基礎設施的監控和應用的監控,發現資源層面的問題以及應用調用的問題。

 

做爲一個雲架構師仍是很複雜的,千里之行,始於足下,讓咱們慢慢來。

 

2、瞭解雲計算的歷史演進與基本原理


在一頭扎進雲計算的汪洋大海以前,咱們應該先有一個全貌的瞭解,有人說了解一個知識的起點,就是了解他的歷史,也就是知道他是如何一步一步到今天的,這樣如此龐大的一個體系,實際上是逐步加進來的,這樣的知識體系對咱們來講,就不是一個冷冰冰的知識網,而是一個有血有肉的人,咱們只要沿着演進的線索,一步一步摸清楚他的脾氣就能夠了。

 

如何把雲計算講的通俗易懂,我本人思考了半天,最終寫下了下面這篇文章。

 

終於有人把雲計算、大數據和人工智能講明白了!

 

在這裏,我把核心的要點在這裏寫一下:

 

第一:雲計算的本質是實現從資源到架構的全面彈性。所謂的彈性就是時間靈活性和空間靈活性,也即想何時要就何時要,想要多少就要多少。

資源層面的彈性也即實現計算、網絡、存儲資源的彈性。這個過程經歷了從物理機,到虛擬化,到雲計算的一個演進過程。

             

架構層面的彈性也即實現通用應用和自有應用的彈性擴展。對於通用的應用,多集成爲PaaS平臺。對於本身的應用,經過基於腳本的Puppet, Chef, Ansible到基於容器鏡像的容器平臺CaaS。

             

第二:大數據包含數據的收集,數據的傳輸,數據的存儲,數據的處理和分析,數據的檢索和挖掘等幾個過程。

             

當數據量很小時,不多的幾臺機器就能解決。慢慢的,當數據量愈來愈大,最牛的服務器都解決不了問題時,怎麼辦呢?這時就要聚合多臺機器的力量,你們齊心合力一塊兒把這個事搞定,衆人拾柴火焰高。

 

第三:人工智能經歷了基於專家系統的計劃經濟,基於統計的宏觀調控,基於神經網絡的微觀經濟學三個階段。

             

3、開源軟件是進階的利器

 

架構師除了要掌握大的架構和理論以外,指導落地也是必備的技能,所謂既要懂設計模式,也要懂代碼。那從哪裏去學習這些良好的,有借鑑意義的,能夠落地的架構實踐呢?

 

這個世界上仍是有不少有情懷的大牛的,尤爲是程序員裏面,他們喜歡作一件什麼事情呢?開源。不少軟件都是有閉源就有開源,源就是源代碼。當某個軟件作的好,全部人都愛用,這個軟件的代碼呢,我封閉起來只有我公司知道,其餘人不知道,若是其餘人想用這個軟件,就要付我錢,這就叫閉源。可是世界上總有一些大牛看不慣錢都讓一家賺了去。大牛們以爲,這個技術你會我也會,你能開發出來,我也能,我開發出來就是不收錢,把代碼拿出來分享給你們,全世界誰用均可以,全部的人均可以享受到好處,這個叫作開源。

 

很是建議你們瞭解,深刻研究,甚至參與貢獻開源軟件,由於收益匪淺。

 

第一:經過開源軟件,咱們能夠了解大牛們的架構原則,設計模式。

 

其實我們平時的工做中,是很難碰到大牛的,他多是你渴望而不可及的公司的員工,甚至在國外,你要想進這種公司,不刷個幾年題目,面試個N輪是進不去的。即使進去了,他多是公司的高層,天天很忙,不怎麼見獲得他,就算當面討教,時間也不會很長,很難深刻交流。也有的大牛會選擇自主創業,或者是自由職業者,神龍見首不見尾,到了大公司都見不到。

 

可是感謝互聯網和開源社區,將大牛們拉到了咱們身邊,你能夠訂閱郵件組,能夠加入討論羣,能夠看到大牛們的設計,看到不少人的評論,提問,還有大牛的回答,能夠看到大牛的設計也不是一蹴而就完美的,看到逐漸演進的過程,等等。這些都是可以幫助咱們快速提高水平的地方,有的時候,拿到一篇設計,都要查資料看半天,一開始均可能好多的術語都看不懂,不要緊肯下他,當你看blueprints愈來愈順暢的時候,你就進步了。

 

第二:經過開源軟件,咱們能夠學習到代碼級的落地實踐。

 

有時候咱們能看到不少大牛寫的書和文章,也能看到不少理論的書籍,可是存在一個問題是,理論都懂,可是仍是作很差架構。這是由於沒有看到代碼,全部的理論都是空中樓閣,當你到了具體的代碼設計層面,那些學會的設計模式,沒法轉化爲你本身的實踐。

 

好在開源軟件的代碼都是公開的,凝結了大牛的心血,也可以看到大牛在具體落地時候的取捨,一切那麼真實,看得見,摸得着。經過代碼進行學習,配合理論知識,更容易得到第一手的經驗,而且在本身作設計和寫代碼的時候,立刻可以映射到能夠參考的場景,讓咱們在作本身的系統的時候,少走彎路。

 

第三:經過開源軟件,咱們能夠加入社區,和其餘技術人員在同一背景下共同進步

 

大牛咱們每每不容易接觸到,正面討論技術問題的時間更是難能難得,可是沒有關係,開源軟件構建了一個社區,你們能夠在一塊兒討論,你是怎麼理解的,別人是怎麼理解的,越討論越交流,越明晰,有時候和比你經驗稍微豐富一點的技術人員交流,可能比直接和大牛對話更加有直接做用。大牛的話可能讓你消化半天,依然不知所云,大牛可能以爲不少普通人以爲的難點是顯而易見的,不屑去解釋。可是社區裏面的技術人員,可能和你同樣慢慢進步過來的,知道哪些點是當年本身困惑的,若是踩過這一個個的坑,他們一點撥,你就會豁然開朗。

 

並且每一個人遇到的具體狀況不一樣,從事的行業不一樣,客戶的需求不一樣,於是軟件設計的時候考慮的因素不一樣,大牛是牛,可是不必定可以遇到和你同樣的場景,可是社區裏面,有你的同行業的,背景相近的技術人員,大家能夠討論出符合大家特定場景的解決方案。

 

第四:經過開源軟件,咱們做爲我的,比較容易找到工做

 

咱們面試的時候,經常遇到的問題是,怎麼可以把在原來工做中本身的貢獻,理解,設計,技術能力。其實我發現不少程序員不能很好的作的這一點,因此形成不少人面試很吃虧。緣由之一是背景信息不對稱,例如原來面臨的業務上很難的問題,面試官因爲不理解背景,並且短期解釋不清楚,而輕視候選人的水平,我也遇到過不少面試官才聽了幾分鐘,就會說,這不挺簡單的,你這樣這樣不就好了,而後完全否認大家一個團隊忙了三年的事情。緣由之二是不少有能力的程序員不會表達,致使真正寫代碼的說不明白,可能原來在公司裏面一個績效很是好,一個績效很是差,可是到了面試官那裏就拉平了。緣由之三是新的公司不能肯定你在上家公司作的工做,到這一家都能用的,例如你作的工做有30%是和具體業務場景相關的,70%是通用技術,可能下家公司只會爲你的通用技術部分買單。

 

開源軟件的好處就是,參與的人所掌握的技能都是通的,並且你們在同一個上下文裏面對話,面試官和候選人之間的信息差比較少。掌握某個開源軟件有多難,不用候選人本身說,你們內心都有數。

 

對於不少技術能力強,可是表達能力較弱的極少數人員來說,talk is cheap, show me the code,代碼呈上去,就可以表現出實力來了,並且面試官也不須要根據短短的半個小時瞭解一我的,能夠作不少背景調查。

 

另外因爲掌握的技術的通用的,你到下一家公司,立刻就可以上手,幾乎不須要預熱時間,對於雙方都有好處。

 

第五:經過開源軟件,咱們做爲招聘方,比較容易招到相應人員。

 

若是在創業公司待過的朋友會了解到創業公司招人很難,人員流失很快,並且創業公司每每對於開發進度要求很快,由於你們都在搶時間。於是開源軟件對於招聘方來說,也是好消息。首先創業公司沒辦法像大公司同樣,弄這麼多的技術大牛,本身徹底落地一套本身的體系,使用開源軟件快速搭建一套平臺先上線是最好的選擇。其次使用開源軟件,會使得招聘相對容易,市場上火的開源軟件會有大批的從業者,參與各類論壇和社區,比較容易挖到人。最後,開源軟件的使用使得新人來了以後沒有預熱時間,來了就上手,保證開發速度。

 

那如何快速上手一款開源軟件呢?我寫了一篇文章

 

如何快速上手一款開源軟件

 

在這篇文章中,我總結了九個步驟。

 

·      1、手動安裝起來,必定要手動

·      2、使用一下,推薦XXX in Action系列

·      3、讀文檔,讀全部的官方文檔,記不住,看不懂也要讀下來

·      4、瞭解核心的原理和算法,推薦XXX the definitive guide系列

·      5、看一本源碼分析的書,會讓你的源碼閱讀之旅事半功倍

·      6、開始閱讀核心邏輯源代碼

·      7、編譯並Debug源代碼

·      8、開發一個插件,或者對組件作少許的修改

·      9、大量的運維實踐經驗和麪向真實場景的定製開發

 

因此作一個雲架構師,必定不能脫離代碼,反而要不斷的擁抱開源軟件。

 

4、瞭解Linux基礎知識

 

做爲一個雲架構師,首要的一點,就是要熟悉Linux的基礎知識,基本原理了。

說到操做系統,通常有三個維度,一個是桌面操做系統,一個是移動操做系統,一個是服務器操做系統。

 

Stack Overflow Developer Survey 2018有這樣一個統計,對於開發人員來講,桌面操做系統的排名是Windows,MacOS,Linux,因此大部分人平時的辦公系統都是windows。

             

固然由於辦公的緣由,平時使用windows的比較多,因此在學校裏,不少同窗接觸到的操做系統基本上都是Windows,可是一旦從事計算機行業,就必定要跨過Linux這道坎。

 

根據今年W3Techs的統計,對於服務器端,Unix-Like OS佔到的比例爲近70%。所謂Unix-Like OS 包括下圖的Linux,BSD等一系列。

             

             

從這個統計能夠看出,隨着雲計算的發展,軟件SaaS化,服務化,甚至微服務化,大部分的計算都是在服務端作的,於是要成爲雲架構師,就必須懂Linux。

 

隨着移動互聯網的發展,客戶端基本上以Android和iOS爲主,下圖是Gartner的統計。Android是基於Linux內核的。於是客戶端也進入了Linux陣營,不少智能終端,智能設備等開發職位,都須要懂Linux的人員。

             

學習Linux主要包含兩部分,一個是怎麼用,一個是怎麼編程,背後原理是什麼。

 

對於怎麼用,上手的話,推薦《鳥哥的Linux私房菜》,按着這個手冊,就可以學會基本的Linux的使用,若是再深刻一點,推薦《Linux系統管理技術手冊》,磚頭厚的一本書,是Linux運維手邊必備。

 

對於怎麼編程,上手的話,推薦《UNIX環境高級編程》,有代碼,有介紹,有原理,若是對內核的原理感興趣,推薦《深刻理解LINUX內核》。

 

Linux的架構以下圖

             

咱們知道,一臺物理機上有不少的硬件,最重要的是CPU,內存,硬盤,網絡,可是一個物理機上要跑不少的程序,這些資源應該給誰用呢?固然是你們輪着用,誰也別獨佔,誰也別餓死。爲了完成這件事情,操做系統的內核就起到了大管家的做用,將硬件資源分配給不一樣的用戶程序使用,而且在適當的時間將資源拿回來,再分配給其餘的用戶進程,這個過程稱爲調度。

 

操做系統的功能之一是系統調用

 

當用戶程序想請求資源的時候,須要調用操做系統的系統調用接口,這是內核和用戶態程序的分界線,就像你要打車,要經過打車軟件的界面,下發打車指令同樣,這樣打車軟件纔會給你調度一輛車。

 

操做系統的功能之二是進程管理

 

當一個用戶進程運行的時候,內核爲他分配的資源,總要有一個數據結構保存,哪些資源分配給了這個進程。分配給這個進程的資源每每包括打開的文件,內存空間等。

             

操做系統的功能之三是內存管理

 

每一個進程有獨立的內存空間,內存空間是進程用來存放數據的,就像一間一間的倉庫。爲了進程使用方便,每一個進程內存空間,在進程的角度來看都是獨立的,也即都是從0號倉庫,1號倉庫,一直到N號倉庫,都是獨享的。可是從操做系統內核的角度來看,固然不可能獨享,而是你們共享,M號倉庫只有一個,你用他就不能用,這就須要一個倉庫調度系統,將用戶進程的倉庫號和實際使用的倉庫號對應起來,例如進程1的10號倉庫,對應到真實的倉庫是110號,進程2的20號倉庫,對應到真實的倉庫是120號。

 

操做系統功能之四是文件系統

 

對於Linux來說,不少東西都是文件,例如進程號回對應一個文件,創建一個網絡鏈接也對應一個文件。文件系統多種多樣,爲了可以統一適配,有一個虛擬文件系統的中間層VFS。

 

操做系統功能之五是設備管理

 

設備分兩種,一種是塊設備,一種是字符設備,例如硬盤就是塊設備,能夠格式化爲文件系統,再如鼠標和鍵盤的輸入輸出是字符設備。

 

操做系統功能之六是網絡管理

 

其實對於Linux來說,網絡也是基於設備和文件系統的,可是因爲網絡有本身的協議棧,要遵循TCP/IP協議棧標準。

 

             

對於Linux的基礎知識方面,我寫了幾篇文章以下。

 

圖說Linux進程

圖說Linux進程之二

圖說Linux進程之三

圖解Linux文件系統

圖解Linux系統調用

Linux的虛擬文件系統VFS

圖解Linux的Socket

 

5、瞭解數據中心和網絡基礎知識

 

雲平臺固然會部署在數據中內心面,因爲數據中內心面的硬件設備也是很是專業的,於是不少地方機房部門和雲計算部門是兩個部門,可是做爲一個雲架構師,須要和機房部門進行溝通,於是須要必定的數據中心知識,在數據中內心面,最難搞定的是網絡,於是這裏面網絡知識是重中之重。

 

下面這個圖是一個典型的數據中心圖。

             

最外層是Internet Edge,也叫Edge Router,也叫Border Router,它提供數據中心與Internet的鏈接。

 

第一層core network,包含不少的core switches

 

·      Available Zone同Edge router之間通訊

·      Available Zone之間的通訊提供

·      提供高可用性鏈接HA

·      提供Intrusion Prevention Services

·      提供Distributed Denial of Service Attack Analysis and Mitigation

·      提供Tier 1 Load Balancer

 

第二層也即每一個AZ的最上層,咱們稱爲Aggregation layer。

第三層是access layer,就是一個個機架的服務器,用接入交換機鏈接在一塊兒。

這是一個典型的三層網絡結構,也即接入層、匯聚層、核心層三層。

對於數據中心,我寫了幾篇文章

 

數據中心長啥樣?

高可用性的幾個級別

當客戶在說要安全的時候,客戶在想什麼?

 

除了數據中心之外,哪怕是作應用架構,對於網絡的瞭解也是必須的。

雲架構說究竟是分佈式架構,既然是分佈式,就是去中心化的,於是就須要系統之間經過網絡進行互通,於是網絡是做爲大規模系統架構繞不過去的一個坎。

對於網絡的基本原理,推薦書籍《計算機網絡-嚴偉與潘愛民譯》,《計算機網絡:自頂向下方法》。

對於TCP/IP協議棧的瞭解,推薦書籍《TCP/IP詳解》,《The TCP/IP Guide》

對於網絡程序設計,推薦書籍《UNIX網絡編程》

若是你想了解網絡協議棧的實現,推薦書籍《深刻理解LINUX網絡內幕》

這裏還自我推薦一下本人寫的極客時間專欄《趣談網絡協議》。

極客時間《趣談網絡協議》:小說同樣的網絡協議入門課

 

其中有個綜合場景,串起來全部的網絡協議。

用雙十一的故事串起碎片的網絡協議(下)

用雙十一的故事串起碎片的網絡協議(中)

用雙十一的故事串起碎片的網絡協議(上)

             

6、基於KVM瞭解計算虛擬化

當物理機搭建完畢以後,接下來就是基於物理機上面搭建虛擬機了。

 

沒有了解虛擬機的同窗,能夠在本身的筆記本電腦上用VirtualBox或者Vmware建立虛擬機,你會發現,很容易就能在物理機的操做系統以內再安裝多個操做系統,經過這種方式,你能夠很方便的在windows辦公系統以內安裝一個Linux系統。從而保持LInux系統的持續學習。

 

             

前面講linux操做系統的時候,說到操做系統,就是整個系統的管家。應用程序要申請資源,都須要經過操做系統的系統調用接口,向操做系統內核申請將CPU,內存,網絡,硬盤等資源分配給他。

 

這時候你會發現,虛擬機也是物理機上的一個普通進程,當虛擬機內部的應用程序申請資源的時候,須要向虛擬機的操做系統請求。然而虛擬機的操做系統本身自己也沒有權限操做資源,於是又須要像物理機的操做系統申請資源。這中間要多一次翻譯的工做,完成這件事情的稱爲虛擬化軟件。例如上面說的VirtualBox和Vmware都是虛擬化軟件。

 

可是多一層翻譯,就多一層性能損耗,若是虛擬機裏面的每個操做都要翻譯,都不能直接操做硬件,性能就會差不少,簡直沒辦法用,因而就出現了上圖中的硬件輔助虛擬化,也即經過硬件的特殊配置,例如VT-x和VT-d等,讓虛擬機裏面的操做系統知道,他不是一個原生的操做系統了,是一個虛擬機的操做系統,不能按照原來的模式操做資源了,而是經過特殊的驅動以硬件輔助的方式抄近道操做物理資源。

 

剛纔說的是桌面虛擬化,也就是在你的筆記本電腦上,在數據中內心面,也可使用Vmware進行虛擬化,可是價格比較貴,若是規模比較大,會採起開源的虛擬化軟件qemu-kvm。

             

對於qemu-kvm來講,和上面的原理是同樣的,其中qemu的emu是emulator的意思,也即模擬器,就是翻譯的意思。KVM是一個可使用CPU的硬件輔助虛擬化的方式,而網絡和存儲的,須要經過特殊的virtio的方式,提供高性能的設備虛擬化功能。

要了解虛擬化的基本原理,推薦書籍《系統虛擬化——原理與實現》

要了解KVM,推薦兩本書籍《KVM Virtualization Cookbook》和《Mastering KVM Virtualization》。

另外KVM和qemu的官方文檔也是必需要看的,還有Redhat的官網不少文章很是值得學習。

對於虛擬化方面,我寫了如下的文章。

我是虛擬機內核我困惑?!

Qemu,KVM,Virsh傻傻的分不清

裸用KVM建立虛擬機,體驗virtualbox爲你作的10件事情

KVM虛擬機鏡像那點兒事,qcow2六大功能,內部快照和外部快照有啥區別?

KVM半虛擬化設備virtio及性能調優最佳實踐

個人虛擬機掛了!怎麼把鏡像裏面的數據找回來?

不只Docker有鏡像,KVM也有多種方式操做鏡像

 

7、基於Openvswitch瞭解網絡虛擬化

 

當虛擬機建立出來了,最主要的訴求就是要能上網,他能訪問到網上的資源,若是虛擬機裏面部署一個網站,也但願別人可以訪問到他。

這一方面依賴於qemu-KVM的網絡虛擬化,將網絡包從虛擬機裏面傳播到虛擬機外面,這須要物理機內核轉換一把,造成虛擬機內部的網卡和虛擬機外部的虛擬網卡。

 

另一方面就是虛擬機的網絡如何可以鏈接到物理網絡裏面。物理網絡經常稱爲underlay network,虛擬網絡經常稱爲overlay network,從物理網絡到虛擬網絡稱爲網絡虛擬化,能很是好的完成這件事情的是一個叫Openvswitch的虛擬交換機軟件。

             

Openvswitch會有一個內核驅動,監聽物理網卡,能夠將物理網卡上收到的包拿進來。虛擬機建立出來的外部的虛擬網卡也能夠添加到Openvswitch上,而Openvswitch能夠設定各類的網絡包處理策略,將網絡包在虛擬機和物理機之間進行傳遞,從而實現了網絡虛擬化。

             

對於Openvswitch,我主要是經過官方文檔進行研究,寫下了這個系列。

 

Openvswitch的入門篇

通俗說Openvswitch

 

Openvswitch的操做篇

玩轉Openvwitch第一站:Manager和SSL

玩轉Openvwitch第二站:Bridge和Controller

玩轉Openvwitch第四站:Bridge和Mirror

玩轉Openvwitch第五站:Port和VLAN

玩轉Openvwitch第六站:Port和Bond

玩轉Openvwitch第七站:Port和QoS

玩轉Openvswitch第八站:Interface和Tunnel (下)

玩轉Openvswitch第八站:Interface和Tunnel (上)

玩轉Openvswitch第十站:Flow Table

玩轉Openvswitch之綜合篇

 

Openvswitch的代碼分析篇

Openvswitch整體架構與代碼結構

從Openvswitch代碼看網絡包的旅程



相關閱讀:雲架構師進階攻略(2)

雲架構師進階攻略(3)

 


網易雲計算基礎服務深度整合了 IaaS、PaaS 及容器技術,提供彈性計算、DevOps 工具鏈及微服務基礎設施等服務,幫助企業解決 IT、架構及運維等問題,使企業更聚焦於業務,是新一代的雲計算平臺,點擊可免費試用


相關文章:
【推薦】 代碼混淆防止APP被反編譯指南
【推薦】 MySQL慢日誌功能分析及優化加強
【推薦】 Android中Textview顯示Html,圖文混排,支持圖片點擊放大