阿里巴巴2016雙11背後的技術(不同的技術創新)

 

每一年的「雙11」是阿里技術的大閱兵和創新能力的集中檢閱。2016年的「雙11」背後，更是蘊藏了異常豐富的技術實踐與突破。

 

歷經1個月的編寫，最終27篇精華技術文章入冊《不同的技術創新-阿里巴巴2016雙11背後的技術》（如下簡稱《不同的技術創新》）一書。這27篇「24K純度」的技術乾貨，是阿里「雙11」八年來技術演進結果的最新展現，凝聚了阿里工程師的智慧和創造力。

 

全部參與《不同的技術創新》編寫的小夥伴，均參與了2016及歷年來「雙11」的大促，經歷過驚心動魄但酣暢淋漓的「雙11」的「零點之戰」。咱們儘可能保持了這些工程師小夥伴文章的原汁原味；咱們知道，過多的雕琢和潤色反而會破壞文章中知識傳遞的效果——工程師之間的溝通不須要華麗和精美的文字，只須要那靈犀的一點。

 

讓咱們爲全部參與《不同的技術創新》一書編寫的小夥伴點贊！不爲別的，只爲他們這些表明全體阿里技術同窗，以及全部中國當下IT工程師勇攀技術高峯的追求精神和其背後不懈的努力點贊！

 

《不同的技術創新》內容涉及基礎設施、存儲、中間件、雲計算、業務架構、大數據、認知計算與人工智能、交互技術等技術領域。

 

在這些領域中，包括：

（1）充分發揮雲計算彈性能力，實現資源快速騰挪，支撐交易峯值每秒17.5萬筆、支付峯值每秒12萬筆的混合雲彈性架構；

（2）在雙11當天實現萬億級消息流轉第三代分佈式消息引擎。

（3）交易核心應用容器化，撐起雙11交易下單峯值，充分解放資源的超大規模Docker化技術；

（4）支撐全球最大規模在線交易的數據實時和離線計算能力，包括承載阿里巴巴集團核心大數據的離線計算平臺，以及雙十一保證每秒處理億條日誌的計算能力、毫秒級的計算延遲的實時流計算平臺；

（5）阿里人工智能在搜索、推薦以及客服場景下的創新應用，包括人工智能賦能的數千家品牌商家店鋪的個性化運營和粉絲會員的精準營銷，基於深度強化學習和在線自適應學習的推薦算法創新，以智能+人工模式提供智能導購、服務、助理擬人交互的阿里小蜜；

（6）全球第一個端對端的虛擬購物環境背後的VR技術，全面解讀如何解決VR購物三大技術挑戰，全面覆蓋瀏覽、下單及支付環節；

（7）揭祕應對前端極限挑戰的淘寶直播首屏秒開，以及應用世界級開源跨平臺移動開發工具Weex實現雙11會場幾近全覆蓋，實現全網首屏渲染完美踐行「秒開」體驗；，

（8）全部雙11奇蹟背後的、基於數據挖掘、機器學習等技術的智能化秒級監控。千萬量級監控項，PB級監控數據，億級報警通知背後的技術。

（9）菜鳥如何打通包裹預測、供應鏈入庫、訂單下沉、訂單路由調度、電子面單及智能分單，以及末端小件員，捍衛這場十億級包裹的雙11之戰。

 

第一章 基礎設施

1.1 萬億交易量級下的秒級監控  （免登陸閱讀）

2016財年，阿里巴巴電商交易額（GMV）突破3萬億元人民幣，成爲全球最大網上經濟體，這背後是基礎架構事業羣構築的堅強基石。在2016年雙11全球購物狂歡節中，天貓全天交易額1207億元，前30分鐘每秒交易峯值17.5萬筆，每秒支付峯值12萬筆。承載這些秒級數據背後的監控產品是如何實現的呢？接下來本文將從阿里監控體系、監控產品、監控技術架構及實現分別進行詳細講述。

1.2 雙11背後基礎設施軟硬結合實踐創新

在快速發展變化的技術領域，阿里巴巴不斷變通調整策略適應新的挑戰，制定相應的硬件發展策略，經過源源不斷的技術驅動力確保爲業務提供質量穩定、技術先進、高性價比的解決方案。本文將從x86核心部件、閃存部件、系統架構等方面的實踐創新進行分享。

1.3 阿里視頻雲ApsaraVideo是怎樣讓4000萬人同時狂歡的

在今年的雙11中，雙11天貓狂歡夜的直播成爲一大亮點。

根據官方披露數據，直播總觀看人數超4257萬，同時觀看人數峯值達529萬，在雲端實現了高計算複雜度的H.265實時轉碼和窄帶高清技術。其實不光是雙11，直播已經成爲了2016年互聯網最火爆的話題。除了內容的大規模涌現，背後實際上是計算、存儲、帶寬的升級和成本的降低。ApsaraVideo的出現，讓直播的技術門檻迅速降低，企業能夠快速上線本身的視頻業務。筆者做爲參與雙11視頻雲的工程師，但願經過本文和你們分享阿里雲的ApsaraVideo業務，是如何爲雙11這個場景快速建立大規模直播場景的經驗。

 

第二章 存儲

2.1 永不中止的腳步——數據庫優化之路  （免登陸閱讀）

在今年的雙11中，雙11天貓狂歡夜的直播成爲一大亮點。

根據官方披露數據，直播總觀看人數超4257萬，同時觀看人數峯值達529萬，在雲端實現了高計算複雜度的H.265實時轉碼和窄帶高清技術。其實不光是雙11，直播已經成爲了2016年互聯網最火爆的話題。除了內容的大規模涌現，背後實際上是計算、存儲、帶寬的升級和成本的降低。ApsaraVideo的出現，讓直播的技術門檻迅速降低，企業能夠快速上線本身的視頻業務。筆者做爲參與雙11視頻雲的工程師，但願經過本文和你們分享阿里雲的ApsaraVideo業務，是如何爲雙11這個場景快速建立大規模直播場景的經驗。

2.2 AliCloudDB--雙11商家後臺數據庫的基石

在今年的雙11中，雙11天貓狂歡夜的直播成爲一大亮點。

根據官方披露數據，直播總觀看人數超4257萬，同時觀看人數峯值達529萬，在雲端實現了高計算複雜度的H.265實時轉碼和窄帶高清技術。其實不光是雙11，直播已經成爲了2016年互聯網最火爆的話題。除了內容的大規模涌現，背後實際上是計算、存儲、帶寬的升級和成本的降低。ApsaraVideo的出現，讓直播的技術門檻迅速降低，企業能夠快速上線本身的視頻業務。筆者做爲參與雙11視頻雲的工程師，但願經過本文和你們分享阿里雲的ApsaraVideo業務，是如何爲雙11這個場景快速建立大規模直播場景的經驗。

 

第三章 中間件

3.1 萬億級數據洪峯下的分佈式消息引擎 （免登陸閱讀）

 經過簡單回顧阿里中間件(Aliware)消息引擎的發展史，本文開篇於雙11消息引擎面臨的低延遲挑戰，經過經典的應用場景闡述可能會面臨的問題 - 響應慢，雪崩，用戶體驗差，繼而交易下跌。爲了應對這些不可控的洪峯數據，中間件團隊經過大量研究和實踐，推出了低延遲高可用解決方案，在分佈式存儲領域具備必定的普適性。在此基礎上，經過對現有有限資源的規劃，又推出了分級的容量保障策略，經過限流、降級，甚至熔斷技術，可以有效保障重點業務的高吞吐，成功的支撐集團包括海外業務平緩舒暢地度過雙11高峯。與此同時，在一些對高可靠、高可用要求極爲苛刻的場景下，中間件團隊又重點推出了基於多副本機制的高可用解決方案，可以動態識別機器宕機、機房斷網等災難場景，自動實現主備切換。整個切換過程對用戶透明，運維開發人員無需干預，極大地提高消息存儲的可靠性以及整個集羣的高可用性。

第四章 電商雲化

4.1 17.5W秒級交易峯值下的混合雲彈性架構之路  （免登陸閱讀）

每一年的雙11都是一個全球狂歡的節日，隨着每一年交易逐年創造奇蹟的背後，按照傳統的方式，咱們的成本也在逐年上升。雙11當天的秒級交易峯值是平時的近10多倍，咱們要用3-4倍的機器去支撐。但大促事後這批機器的資源利用率不高，到次年的雙11會造成較長時間的低效運行。試想一下，電商交易有大促峯值，而阿里雲有售賣Buffer，若是能充分發揮雲計算的彈性能力，讓資源能夠兩邊快速騰挪，就能夠解決資源浪費的問題。把咱們的交易單元部署在雲上面，大促的時候咱們只須要按照壓測模型去雲上構建一個符合能力的新單元便可，用完立刻釋放掉，這樣無疑是最優雅的。專有云+公共雲的混合雲彈性架構成爲一種天然而然的選擇，不但能夠資源合理利用，下降成本，同時鍛鍊了阿里人的的技術能力，爲用戶提供更優質的服務。

有了架構思路，實現起來彷佛也沒那麼容易。阿里的交易涉及幾百個系統，他們之間的依賴錯綜複雜，如何可以把他們快速的搭建在雲上？系統之間的依賴如何複雜，若是把他們的容量估算好，快速調整他們的容量水位？這就不得不提到下面的兩個祕密武器：一鍵建站和彈性容量交付。

4.2 集團AliDocker化雙11總結

在基礎設施方面，今年雙11最大的變化是支撐雙11的全部交易核心應用都跑在了Docker容器中。幾十萬Docker容器撐起了雙11交易17.5萬筆每秒的下單峯值。衆所周知Docker技術這幾年大熱，但若是指望阿里這麼大致量的應用所有使用Docker，這可不是一朝一夕就能完成的事情。阿里的應用數量龐大，種類衆多，光兼容性的驗證沒個一、2年的時間沒人敢把核心應用放上去。所以，從業界普遍狀況來看，雖然Docker能給研發和運維帶來好處，做爲技術人員你們都心照不宣，可是想直接去使用，那面對Docker浪潮只能是——坐觀弄潮者，徒有羨魚情。那麼，阿里是怎麼作的呢？

 

第五章 業務架構

5.1 內容+：打造不同的雙11 （免登陸閱讀）

內容永遠是最優質的流量入口。若是不是，那說明你沒作對。今年是淘寶全面內容化、社區化的元年；今年的雙11，也是一場具備豐富內容、精彩互動的購物狂歡。從必買清單、大咖直播，到KOL草地、人羣市場，雙11零點時分經歷的淘寶網紅經濟爆發，都是今年獨特而又亮麗的風景線。本文將具體介紹這條內容鏈路，以及在雙11大促期間的應用案例。先從位於這條內容鏈路核心的內容平臺開始提及。

5.2 雙11交易核心鏈路的故事

2016雙11使人眼花繚亂的活動，背後是怎樣的體系來支撐起這樣多元化的玩法，本文一層層的來解構。在每秒17.5w筆的高峯下，每筆訂單所經的鏈路衆多，如何海量的訂單有序、準確的運行，如絲般潤滑，須要完整的業務、技術架構和對高峯時刻技術的攻堅。

5.3 千億訪問量下的開放平臺技術揭祕

淘寶開放平臺（open.taobao.com）是阿里系統與外部系統通信的最重要平臺，天天承載百億級的API調用，百億級的消息推送，十億級的數據同步，經歷了8年雙11成倍流量增加的洗禮。本文將爲您揭開淘寶開放平臺的高性能API網關、高可靠消息服務、零漏單數據同步的技術內幕。

5.4 智慧供應鏈

在面對天貓雙11當天1207億商品交易額（GMV）和6.57億物流訂單時，供應鏈做爲電子商務企業運做的支柱，是如何有效地組織、協調和優化這個複雜且動態變化的供需網絡，從而能夠高效地支持2016年貓全球購物狂歡節呢？

5.5 菜鳥雙11「十億級包裹」之戰

菜鳥這幾年不斷探索，在物流全鏈路上作了大量的嘗試和突破，好比經過海量數據精準的預測大促包裹量及流向、經過供應鏈預測計劃合理入庫及分倉鋪貨、以及作到「單未下、貨先行」的貨品下沉提早打包等。

那麼，菜鳥如何打通包裹預測、供應鏈入庫、訂單下沉、訂單路由調度、電子面單及智能分單，以及末端小件員，捍衛這場十億級包裹的雙11之戰。

 

第六章 大數據

6.1 雙11數據大屏背後的實時計算處理 （免登陸閱讀）

2016年雙11的實時數據直播大屏有三大戰場，分別是面向媒體的數據大屏、面向商家端的數據大屏、面向阿里巴巴內部業務運營的數據大屏。每一個直播功能須要實時處理的數據量都是很是龐大的，每秒的總數據量更是高達億級別，這就對咱們的實時計算架構提出了很是高的要求。在面對如此龐大數據的時候，咱們的實時處理是如何作高精度、高吞吐、低延時、強保障的呢？

6.2 雙11背後的大規模數據處理

總體介紹做爲前臺在線業務和後端異步數據處理之間橋樑的實時數據總線服務TimeTunnel（TT），大規模數據流處理技術Galaxy，以及承載了阿里巴巴集團全部的離線計算任務MaxCompute。

6.3 突破傳統，4k大屏的沉浸式體驗

可以在 4K 的頁面上表演，對設計師和前端開發來講，既是機會也是挑戰，咱們能夠有更大的空間設計宏觀的場景，炫酷的轉場，讓觀衆感覺影院式視覺體驗；可是，又必須面對由於畫布變大帶來的性能問題，以及絞盡腦汁實現數日馬行空的的想法。本文介紹雙11媒體大屏開發中咱們的一些設計和思路。

 

第七章 人工智能

7.1 基於深度強化學習與自適應在線學習的搜索和推薦算法研究 （免登陸閱讀）

淘寶的搜索引擎涉及對上億商品的毫秒級處理響應，而淘寶的用戶不只數量巨大，其行爲特色以及對商品的偏好也具備豐富性和多樣性。所以，要讓淘寶的搜索引擎對不一樣特色的用戶做出針對性的排序，並以此帶動搜索引導的成交提高，是一個極具挑戰性的問題。與此同時，雙11主會場也是一個很複雜的推薦場景。從個性化推薦算法的角度來講，咱們在2016年雙11主會場嘗試了多種新穎的排序模型，並作了嚴格的效果對比。本文詳細闡述人工智能技術在雙11搜索與推薦場景中的應用。

7.2 顛覆傳統的電商智能助理-阿里小蜜技術揭祕

在全球人工智能領域不斷髮展的今天，包括Google、Facebook、Microsoft、Amazon、Apple等互聯公司相繼推出了本身的智能私人助理和機器人平臺，智能人機交互成爲各大公司在人工智能戰場上激烈競爭的入口級領域。 智能人機交互經過擬人化的交互體驗逐步在智能客服、任務助理、智能家居、智能硬件、互動聊天等領域發揮巨大的做用和價值。

阿里也推出了本身的智能私人助理-阿里小蜜，一個圍繞着電子商務領域中的服務、導購以及任務助理爲核心的智能人機交互產品。經過電子商務領域與智能人機交互領域的結合，提高傳統電商領域的能效，帶來傳統服務行業模式的變化與體驗的提高。本文詳細闡述人工智能在智能客服中的應用。

7.3 深度學習與天然語言處理在智能語音客服中的應用

95188電話的支付寶熱線目前已經用純語音交互流程全面代替了傳統的按鍵流程，這個咱們稱之爲「蟻人」的智能語音客服會根據用戶的描述判斷用戶的意圖，從而爲不一樣需求的用戶提供快速的直達服務，或者直接推送自助解決方案，或者發現是屬於緊急問題而直接轉給對應業務線的人工客服處理。本文詳細闡述了人工智能技術在智能語音客服場景下的應用。

7.4 數據賦能商家背後的黑科技

新商家事業部自去年12月成立以來，數據賦能商家就是重要的方向之一。咱們將以前平臺沉澱的數據和算法的能力轉過來賦能咱們爲商家提供的工具和平臺，這其中包括客戶運營平臺、千牛、服務市場等等。不少技術在今年的雙11也起到了很是顯著的做用，爲商家帶來實實在在的收益。本文從客戶運營平臺、千牛頭條、服務市場三個產品給你們分享咱們如何經過機器學習和人工智能技術從新定義產品。

7.5 探索基於強化學習的智能推薦之路

隨着千人千面個性化推薦技術在手機淘寶的全面應用，推薦場景日均引導成交在整個手淘平臺佔據着很是重要的比例。用戶愈來愈習慣於逛淘寶來知足平常的休閒或者購物的需求。然而不少時候，用戶購買的目的性並非很明確。一個寶貝的成交，可能會跨越多天，經歷較長的決策週期。與此同時，在整個用戶的購買決策過程當中，他們常常在多個異構的推薦場景間進行跳轉，進而影響自身後續的行爲序列。

所以，推薦的優化須要從單一場景的直接優化，逐步進階到多場景的聯動優化，這就須要咱們將用戶的長期行爲序列歸入建模，從而實現整個手淘推薦鏈路的累積收益最大化。本文詳細闡述基於強化學習算法的智能推薦，

7.6 DNN在搜索場景中的應用

搜索排序的特徵分大量的使用了LR，GBDT，SVM等模型及其變種。咱們主要在特徵工程，建模的場景，目標採樣等方面作了很細緻的工做。但這些模型的瓶頸也很是的明顯，儘管如今阿里集團內部的PS版本LR能夠支持到50億特徵規模，400億的樣本，但這對於咱們來講，看起來依然是不太夠的，如今上億的item數據，若是直接使用id特徵的話，和任意特徵進行組合後，都會超出LR模型的極限規模，對於GBDT，SVM等模型的能力則更弱，而咱們一直在思考怎麼能夠突破這種模型的限制，找到更好的特徵；另外，及時LR模型能支持到上億規模的特徵，在實時預測階段也是有極大的工程挑戰，性能與內存會有很是大的瓶頸。

本文詳細闡述DNN的引入以及RNN模型的應用。

 

第八章 交互技術

8.1 VR電商購物  （免登陸閱讀）

GM LAB在2016年3月成立，是一個旨在探索最新電商購物體驗的實驗室。在探索VR購物的過程當中，有兩個須要核心解決的問題：一個是VR購物的產品形態是什麼，另外一個是VR環境下的店鋪和商品怎麼來。對於這兩個問題，咱們分別發起了BUY+和造物神計劃去解決。一直到雙11結束，基於BUY+探索VR購物體驗，基於造物神去豐富VR素材，都取得了必定的結果。本文詳細介紹Buy+和造物神。

8.2 淘寶直播在雙11的互動實踐

移動直播做爲一個鏈接用戶的平臺，實時性極強，藉助移動設備隨時接入的特性，可切入的場景也更多，雙向的交互方式對於包括電商在內的其餘業務模式來講也是值得探索的新玩法，因此隨着這波浪潮的興起，咱們也快速啓動淘寶直播來探索電商+直播的各類可能的方向，通過大半年的探索也獲得很好的收穫，同時也爲今年雙11直播會場的上線打下了基礎。整個過程對產品和技術上均帶來很大的挑戰，本文將爲你們解析整個過程當中所遇到關鍵問題和解決方案。

8.3 2016雙11前端突破

2016年天貓前端相比去年有了很是多不一樣維度的突破，本文詳細四個方面進行闡述：
1.穩定性、監控
2.極致的性能優化
3.業務創新 / 平臺建設
4.技術創新 / 互動

8.4 Weex 雙11會場大規模應用的秒開實戰和穩定性保障

今天阿里諸多客戶端已經面臨包大小接近臨界值，大促活動頁面（H5）體驗較差等一系列問題。結合 Native 和 Web 技術亮點，同時又能解決阿里遇到的業務問題，這就是 Weex 在阿里誕生的背景。本文詳細闡述包括主會場、分會場、分分會場、人羣會場等在內幾乎全部的雙11會場業務的Weex技術。

8.5 雙11晚會背後的技術

雙11晚會，在觀衆看着電視明星流口水的同時，還能參與互動，給心儀的明星支持，而後拿到禮品。這須要有着如絲般柔順的體驗，用戶纔會願意玩。這些特性，在晚會史上都是前無古人的。即使是雙11天貓晚會自己，在2016年也是超越了2015年太多的。那麼「雙向互動」晚會背後都有哪些技術突破呢？