2684億!阿里CTO張建鋒:不是任何一朵雲都撐得住雙11

2019天貓雙11數據庫

成交額2684億!服務器

file

「不是任何一朵雲都能撐住這個流量。中國有兩朵雲,一朵是阿里雲,一朵叫其餘雲。」11月11日晚,阿里巴巴集團CTO張建鋒表示,「阿里雲不同,10年前咱們從第一行代碼寫起,構建了中國惟一自研的雲操做系統飛天。」微信

file

阿里巴巴集團CTO、阿里雲智能總裁張建鋒網絡

2019天貓雙11再次刷新世界紀錄,訂單創新峯值達到54.4萬筆/秒,單日數據處理量達到970PB。今年阿里巴巴核心系統100%上雲,撐住了雙11的世界級流量洪峯。架構

「阿里巴巴是一架高速飛行中的飛機,咱們成功在此過程當中換上了全新的引擎。」張建鋒說,用公共雲來承載這樣一個萬億規模的核心繫統,阿里雲是第一個作到的,「不少雲廠商本身的業務系統,不在本身的雲上,從此阿里所有系統都在阿里雲上。」less

阿里巴巴是全球首家將核心系統100%運行在公共雲上的大型互聯網公司。分佈式

附:張建鋒演講核心觀點微服務

從去年開始,咱們決定把整個阿里巴巴核心系統所有上雲,上雲還要加一個定語,是上「阿里雲」,並非上任何一朵雲都能撐得住這個流量。在中國,咱們常常說中國有兩朵雲,一朵叫作「阿里雲」,還有一朵叫作「其它雲」。性能

爲何講阿里雲跟其它雲不同?由於在中國只有阿里雲是徹底從頭研發的一朵雲,從頭是從每一行代碼,從十年前開始寫,今年是阿里雲的第10年,因此咱們的雲有一個特別的名字,叫作「飛天操做系統」,當初王堅博士創辦阿里雲的時候,對咱們這個雲下面的調度系統,整個雲的基礎平臺,取名叫作「飛天操做系統」。測試

咱們的雲徹底是中國自研的一朵雲,其它不少雲從開源軟件改造過來的,這是很是大的不同。

第二個,今年雙11,阿里仍然是一家在高速飛行中的飛機,咱們成功的在這個過程當中換上了全新的引擎。之前你們把非核心負載放在雲上,如今阿里巴巴最核心的系統放在了雲上。如今咱們的雲把原來專用的技術變成公共雲,你們均可以來享受普惠服務。咱們有最好的系統,大家也能夠在上面跟咱們同樣使用。

阿里雲承載阿里巴巴本身100%的核心繫統,這個是咱們全球第一個作到的。不少雲廠商本身也有業務系統,可是本身的系統不在本身的雲上。咱們之後全部阿里系統所有都在阿里雲的飛天操做系統上面。

你們必定會想,這是一個簡單的替換仍是技術上很是大的一個進步、很是大的挑戰?我簡單說一下,咱們有幾個方面作得很是好,它不是簡單的替換,上雲以後性能有了一個很是大的提升。

今天你們可能有感受,咱們前十分鐘,基本上消費者沒有感覺到任何抖動,你們購物很是順暢。

第1、咱們在覈心虛擬機系統上,自研神龍架構,用自研的服務器來作虛擬化。通常的服務器隨着壓力增加,最終負載能力會慢慢降低,它不是線性的。咱們神龍服務器壓力越大,輸出也是很是線性的,這是很是難作到的。

第2、咱們自研了雲原生的數據庫。今年有兩個數據庫,一個是自研的OceanBase,你們知道咱們在TPC-C測試裏面拿下了全球第一。第二是PolarDB,也普遍用在此次雙11上,沒有任何問題,咱們每秒峯值也是遠遠超越於原來Oracle這樣傳統的數據庫。

file

第3、咱們的計算與存儲作了分離,如今阿里巴巴存儲是有一個地方專門存數據。數據都是從遠端存取的,因此存儲能夠很方便的擴容,由於它有一個專門的池。原來作不到。由於原來遠端存儲,訪問網絡速度就跟不上。

第4、之因此如今可以作到在遠端存儲,可以比本地讀寫磁盤更快,是由於咱們作了RDMA網絡,這是全球第一個大規模作RDMA網絡的公司。

咱們這四個方面都作了核心突破。

今天,飛天操做系統可以在10萬臺級別以上的服務器裏面作調度,今天雙11有很是多的應用,可是它並非說每個時間點,全部應用負載都是同樣的。咱們在零點把大部分計算機資源分配給交易等應用,過了一點以後,咱們把數據分配給數據處理系統。數據處理今年創了一個新高,2017年當天處理了300PB的數據,2018年處理了600PB的數據,今年要處理970P左右的數據。

你們可能沒有概念,一個P到底有多少數據,我上次跟央視的人交流,央視拍了這麼多年電視新聞節目,幾十年下來他存了大概80P的數據。雙11一天,咱們要處理970P的數據,很是大的量,沒有一個先進的系統是撐不住的。

第二個是很是實時,你們看到了,今天在秒殺,在會場所有都是個性化、千人千面的,這裏的數據不只是大,並且是要作到很是實時。到目前爲止,咱們菜鳥物流系統已經產生了超過10億筆的物流單,這個數據還在很快的上漲,這些都須要依靠阿里雲背後大量的計算能力。

咱們今年的數據,除了批處理以外,還有流處理,就是實時處理全部數據,就像大家看到的交易數據,每分鐘、每秒鐘都在變,它並非從數據庫裏面統計出來的,它是每生成一筆訂單,系統自動一層層把數據聚集上來。咱們這個系統每秒能處理25億筆記錄,這是流式的系統。

咱們這麼多服務器,要把它所有管理起來,除了飛天系統以外,還要管理全部的消息流轉,因此咱們本身開發了一個叫作MQ的消息系統,這也是全球目前最大的一個消息系統。

今天,從飛天系統、大數據處理平臺到智能化應用,這些技術疊加起來打造了一個新的分佈式的基於雲的平臺,才使得阿里整個經濟體全部核心應用都可以跑在上面。

最後,咱們今年發佈了自研的芯片含光800。明年雙11,阿里大量人工智能應用都會跑在自研芯片上面。

今天從飛天雲操做系統到神龍服務器、數據庫、交換機、交換機操做系統、RDMA網絡,所有是阿里自研的。咱們今天已經積累了很是豐富、很是強的能力,從硬件、數據庫、雲計算操做系統,到上面的核心應用平臺,四位一體,這是此次雙11跟往年最大不同的地方。

全部不可想象,終將化做尋常;
咱們相信「相信」,一切都是新的。
雙11快樂!

「 阿里巴巴雲原生微信公衆號(ID:Alicloudnative)關注微服務、Serverless、容器、Service Mesh等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐,作最懂雲原生開發者的技術公衆號。」

相關文章
相關標籤/搜索