CNCF案例研究：網易

網易如何利用Kubernetes支持全球互聯網業務

公司：網易
地點：中國杭州
行業：互聯網技術

挑戰

它的遊戲業務是世界上最大的遊戲業務之一，但這並非網易爲中國消費者提供的惟一服務。該公司還經營電子商務、廣告、音樂流媒體、在線教育和電子郵件平臺；最後一個經過163.com等網站爲近十億用戶提供免費電子郵件服務。2015年，爲全部這些系統提供基礎設施的網易雲團隊，意識到他們的研發流程正在減緩開發者的速度。「咱們的用戶須要本身準備全部基礎設施。」網易雲和容器服務架構師Feng Changjian說。「咱們渴望經過無服務器的容器服務，自動爲咱們的用戶提供基礎設施和工具。」

解決方法

在考慮創建本身的業務流程解決方案後，網易決定將其私有云平臺創建在Kubernetes上。這項技術來自Google的事實讓團隊相信它能夠跟上網易的規模。「通過2到3個月的評估，咱們相信它能夠知足咱們的需求。」Changjian說。該團隊在2015年開始使用Kubernetes，甚至在1.0以前。今天，網易內部雲平臺還利用了CNCF項目Prometheus、Envoy、Harbor、gRPC和Helm，在生產集羣中運行10,000個節點，而且能夠在一個集羣中支持多達30,000個節點。基於其內部平臺的經驗，該公司向外部客戶推出了基於Kubernetes的雲和面向微服務的PaaS產品，網易輕舟微服務。

影響

網易團隊報告說，Kubernetes使研發效率提升了100％以上。部署效率提升了280％。「在過去，若是咱們想進行升級，咱們須要與其餘團隊合做，甚至在其餘部門工做。」Changjian說。「咱們須要特殊的工做人員來準備一切，因此花了大約半個小時。如今咱們能夠在5分鐘內完成。」新平臺還容許使用GPU和CPU資源進行混合部署。「以前，若是咱們將全部資源都用於GPU，咱們就不會爲CPU提供備用資源。可是如今咱們經過混合部署獲得了改進。」他說。這些改進也提升了資源的利用率。

「該系統能夠在一個集羣中支持30,000個節點。在生產中，咱們在單個集羣中得到了10,000個節點的數據。整個內部系統正在使用該系統進行開發、測試和生產。」 - Zeng Yuxing，網易架構師

它的遊戲業務是全球第五大，但這並不是網易爲消費者提供的惟一服務。

該公司還在中國經營電子商務、廣告、音樂流媒體、在線教育和電子郵件平臺；其中最後一個經過163.com和126.com等熱門網站爲近十億用戶提供免費電子郵件服務。憑藉這種規模，網易雲團隊爲全部這些系統提供基礎設施，在2015年發現他們的研發流程難以使開發者知足需求。「咱們的用戶須要本身準備全部基礎設施。」網易雲和容器服務架構師Feng Changjian說。「咱們渴望經過無服務器的容器服務，自動爲咱們的用戶提供基礎設施和工具。」

在考慮創建本身的業務流程解決方案後，網易決定將其私有云平臺創建在Kubernetes上。這項技術來自Google的事實讓團隊相信它能夠跟上網易的規模。「通過2到3個月的評估，咱們相信它能夠知足咱們的需求。」Changjian說。

「咱們利用Kubernetes的可編程性，以便咱們能夠構建一個平臺來知足內部客戶的升級和部署需求。」 - Feng Changjian，網易雲和容器服務架構師

該團隊在2015年開始採用Kubernetes，甚至在1.0以前，由於它相對容易使用，而且讓公司啓用了DevOps。「咱們放棄了Kubernetes的一些概念；咱們只想使用標準化框架。」Changjian說。「咱們利用Kubernetes的可編程性，以便咱們能夠構建一個平臺來知足內部客戶的升級和部署需求。」

該團隊首先專一於構建容器平臺，以更好地管理資源，而後經過添加監控等內部系統，將注意力轉向改進其對微服務的支持。這意味着整合CNCF項目Prometheus、Envoy、Harbor、gRPC和Helm。「咱們努力提供簡化和標準化的流程，所以咱們的用戶和客戶能夠利用咱們的最佳實踐。」Changjian說。

團隊正在繼續改進。例如，企業的電子商務部分須要利用混合部署，這在過去須要使用兩個獨立的平臺：基礎架構即服務平臺和Kubernetes平臺。最近，網易建立了一個跨平臺的應用程序，能夠同時使用單命令部署。

「只要公司擁有一支成熟的團隊和足夠的開發者，我認爲Kubernetes是一種很是好的技術，能夠幫助他們。」 - Li Lanqing，網易Kubernetes開發者

今天，網易內部雲平臺「能夠在一個集羣中支持30,000個節點。」架構師Zeng Yuxing說。「在生產中，咱們在單個集羣中得到了10,000個節點的數據。整個內部系統正在使用該系統進行開發、測試和生產。」

網易團隊報告說，Kubernetes使研發效率提升了100％以上。部署效率提升了280％。「在過去，若是咱們想進行升級，咱們須要與其餘團隊合做，甚至在其餘部門工做。」Changjian說。「咱們須要特殊的工做人員來準備一切，因此花了大約半個小時。如今咱們能夠在5分鐘內完成。」新平臺還容許使用GPU和CPU資源進行混合部署。「以前，若是咱們將全部資源都用於GPU，咱們就不會爲CPU提供備用資源。可是如今咱們經過混合部署獲得了改進。」他說。這些改進也提升了資源的利用率。

「經過與這個社區合做，咱們能夠從中得到一些經驗，咱們也能夠從中受益。咱們能夠看到社區面臨的問題和挑戰，並參與其中。」 - Li Lanqing，網易Kubernetes開發者

基於使用其內部平臺的結果和經驗，該公司向外部客戶推出基於Kubernetes的雲和面向微服務的PaaS產品，網易輕舟微服務。「咱們的想法是，咱們能夠找到咱們的遊戲和電子商務以及雲音樂供應商遇到的問題，所以咱們能夠整合他們的經驗，並提供一個平臺來知足用戶的需求。」Changjian說。

不管是否使用網易產品，該團隊都鼓勵其餘公司嘗試Kubernetes。「只要公司擁有一支成熟的團隊和足夠的開發者，我認爲Kubernetes是一種很是好的技術，能夠幫助他們。」Kubernetes開發者Li Lanqing說。

做爲最終用戶和供應商，網易已經更多地參與社區，向其餘公司學習並分享他們所作的事情。該團隊一直在爲Harbor和Envoy項目作出貢獻，並在網易規模測試技術時提供反饋。「咱們是一個專一於解決微服務架構挑戰的團隊。」Changjian說。「經過與這個社區合做，咱們能夠從中得到一些經驗，咱們也能夠從中受益。咱們能夠看到社區面臨的問題和挑戰，並參與其中。」

---

KubeCon + CloudNativeCon + Open Source Summit大會日期：

• 會議日程通告日期：2019 年 4 月 10 日
• 會議活動舉辦日期：2019 年 6 月 24 至 26 日

KubeCon + CloudNativeCon + Open Source Summit贊助方案
KubeCon + CloudNativeCon + Open Source Summit多元化獎學金現正接受申請
KubeCon + CloudNativeCon和Open Source Summit即將首次合體落地中國
KubeCon + CloudNativeCon + Open Source Summit購票窗口，當即購票！
CNCF邀請你加入最終用戶社區