阿里巴巴,果真開始擁有「預測將來」的能力了

頂燈閃爍,笛聲響徹。算法

救護車載着病人,衝向茫茫車海,在時間的賽道上狂奔。數據庫

高德地圖、GPS 衛星導航、路面磁感線圈、1300 個路口攝像頭同時開動,爲這輛救護車勘探最快路線;

GPS 傳回實時數據,後臺根據輔助數據糾偏,錨定救護車每一刻的精確位置;網絡

救護車將要通過的沿途,車輛狀況被實時計算。確保路口綠燈提早亮起,在救護車經過以前,恰好全部社會車輛已經行駛一空。架構

這不是演習,這是杭州城市大腦天天都在執行的任務。依靠計算,一輛救護車到達醫院的速度,平均縮短了 50%。在這座城市,靠鳴笛和闖紅燈開道的悲壯完全成爲歷史。框架

說人同螻蟻,其實並不爲過。兩百多萬輛車奔跑在城市裏,他們的行蹤像風裏的落葉同樣叵測。但經過對 1300個路口的攝像頭的實時計算,城市大腦就能夠精確地預測出將來十五分鐘、將來半小時那哪一個路段將會擁堵,從而第一時間指揮路口信號燈「變換姿式」。機器學習

計算在幫人類追趕時間。分佈式

中哥今天要說的,就是這個精緻而堅固的「大數據實時計算引擎」。oop

你可能從未據說過這個引擎,甚至在此刻以前都不知道它的存在,但你極可能早已成爲這個引擎服務的一員:性能

一年一度的雙11,無數人涌進天貓,每一個人都能用 0.1 秒搜索到本身理想的商品,在智能推薦中發現適合的寶貝,背後正是依賴這個引擎;

雙11慶典現場,大屏上那個跳動的總成交量數字,只是背後全部數據的冰山一角。幾十億種商品的實時庫存、價格、優惠數據得以分秒不慢地同步給屏幕前的你,也一樣依賴這個引擎學習

從某種意義上來講,只要給這個計算引擎足夠的資源,不管面對多麼龐大複雜的系統,咱們均可以用幾乎忽略不計的時間看到真相——這大大快於人類最聰明的大腦。

這是咱們親手創造的「先知」。

重器難成。爲了這個先知通常的「大數據實時計算引擎」,阿里巴巴最核心的技術人,已經耗費了將近五年時間。

讓人感慨的是,這個承載了一個個城市的交通,扛起了一條條生產線,擔負了一個國家十幾億人購物的強大引擎之因此的誕生在阿里巴巴,最初並非爲了知足什麼須要,而僅僅是由於它「看上去很美」。

這是一個不爲人知的故事。

image

(1)

1999年,阿里巴巴在杭州成立。

一樣在1999年,蔣曉偉正在美國攻讀理論物理博士。做爲一個初三就立志要探索宇宙祕密的年輕人,到目前爲止他的人生堪稱完美。

就在一個嶄新的物理學家即將出爐的時候,命運開始展示它的波雲詭譎。蔣曉偉忽然被本身的導師「忽悠」到了一家很是有但願的互聯網初創公司。理由是:「在30歲以前先財富自由,之後愛怎麼學物理就怎麼學物理。」

一年以後,互聯網泡沫破裂。

然而,蔣曉偉卻留在了這片戰場。2002年,他加入微軟,2010年他加入 Facebook。彈指揮間,直到回國加入阿里巴巴以前,他已經從物理學家成功轉型成爲數據庫和計算資源調度系統專家。

他還記得,本身加入阿里的時間是 2014年12月29日。這是一年中能夠辦理入職的最後一天。

「爲何選最後一天?」

「由於看上去比較有美感。」

「。。。」

目測,蔣曉偉是我見過的第一個用物理公式般的美感對待人生的人。甚至,他給本身起的花名都想叫作「量子」,後來思考了一下,以爲量子不太像我的名,才改成諧音「量仔」。

蔣曉偉

蔣曉偉入職的是阿里巴巴集團搜索團隊。你可能會問:納尼?阿里巴巴還有搜索團隊?固然有,並且還極其重要。舉個搜索引擎的平常:

當你在淘寶搜索框裏輸入「杜蕾斯」的時候,搜索引擎就立刻行動,從億萬賣家出售中的寶貝里幫你找到合適的 TT(及其餘產品),而後按照推薦順序排列在搜索結果裏。

注意,有趣的硬核要來了:

若是,商家的 TT 價格永遠不改,庫存永遠無限,優惠促銷方案永遠不變,那麼搜索團隊只須要作一個最簡單的查詢系統就好了。

可是,現實中商家會隨時調整價格和優惠,某一款激情大顆粒也可能由於太受歡迎,上架十秒就賣到缺貨。在淘寶網上,你會發現真實的狀態是:每時每刻都有無數賣家的產品參數在改動。

因此,搜索引擎的挑戰就是,要根據每時每刻最新的數據庫來瞬間算出最適合呈現給你的搜索結果。

相信我,只有用最新鮮的數據算出的結果,才能讓屏幕對面的你露出心滿意足的表情:

面對這種現實,一個最穩妥的方式就是,搜索引擎用把如今的數據庫所有算一遍,給出結果。

可是,這會耗費大量的計算力。畢竟這一秒相對於上一秒來講,可能發生參數變更的寶貝只有十個,而沒有參數變更的寶貝有十萬個。

那麼,你天然會想:「有沒有一種方法,讓我只計算改動的部分,再經過特別的數學運算和以前的結果融合,就能達到和計算全量數據同樣的效果呢?」

有的,這就叫「流式計算」

打個最簡單的比方:

你負責把椰汁平分給10個妹紙。剛開始你有10瓶椰汁,因而你一人分了一個。後來,你又獲得了10瓶椰汁,這時候椰汁的總數變成了 20 瓶,平均每一個妹紙應該獲得兩個。

但你沒有必要把以前分給妹紙的椰汁收回來,從新每人給兩個;而是可讓每一個妹紙手上拿着以前的那瓶椰汁的基礎上,每人再補發一瓶。

經過這個例子,我猜你已經感覺到了「流式計算」的激盪。固然,實際的數據庫運算比「分椰汁」複雜得多。

須要說明的是,當時在阿里巴巴內部,並非沒有流式計算引擎,各部門都根據本身的需求研發了特定的流式計算引擎,只不過,大多引擎只用來解決各自部門的問題,沒有通用性。

不少業務都開發了
各自的流式計算引擎

但蔣曉偉忽然發現,流式計算背後隱藏着一個神奇的事實:

既然只計算增量,就能得知全量的結果;那麼就能夠永遠用計算增量的方式來表達計算全量。

也就是說:增量計算等效於全量計算;流式計算等效於批處理計算,實時計算等效於離線計算!

也就是說,若是按照這個構想作出一套完整功能的「流式計算引擎」,就能夠一統江湖,運轉在阿里巴巴全部的技術底層。這但是一份不小的產業啊!

蔣曉偉越想越雞凍。

然鵝,讓他激動的最主要緣由居然是:「這個引擎太完美了!」他發現,其實本身身體裏的那個「物理學家」一直都在。物理追求的終極就是「大一統理論」——用一套機制解決全部問題。沒想到人生峯迴路轉,在計算機領域也給發現了一個「大一統」的機會。

老實說,蔣曉偉老溼傅這個想法有點危險。危險在哪呢?

首先,若是把當時搜索業務須要的流式計算比做汽車發動機的話,蔣曉偉想要研製的發動機,是豪華到能夠用到下一代宇宙飛船上的「核能發動機」。本身團隊支持的這攤子業務目前根本不須要這麼好的引擎。

其次,研究這個引擎的基本動力竟然是「美感」。出於美感開發一個計算引擎,這種動機自然就有一種理想主義氣質。。。能不能研究成,那只有天知道。

再說,面對這麼宏大的任務,手下能用來作研發的團隊,只有五我的。何況這五個兄弟還有平常的任務,人手極度短缺。

「但馬老師不是說了麼,夢想仍是要有的,萬一實現了呢?」

剛剛加入阿里的蔣曉偉卻是決心已定。

(2)

蔣曉偉「能用」的團隊,全員都在北京。

這個小分隊的老大叫作王峯。王峯是個老阿里了,2006年加入阿里巴巴,在阿里北京的雅虎中國團隊作搜索,後來又作過一淘和淘寶搜索。此時此刻,他和北京的幾個兄弟主要負責一個開放搜索項目的離線系統。 

聽到蔣曉偉對於「流式計算引擎」的描述,王峯心裏驚呼「臥槽」。對於一個合格技術宅來講,一個好的技術構想比萌妹子更能讓他動心。

蔣曉偉和王峯一合計,事情很簡單:腳踩兩隻船,那基本沒戲。要麼就趁早死心,放棄新引擎研發;要麼就你們就把舊工做徹底交出去,破釜沉舟幹票大的。

王峯的決定是,幹!

如今的王峯,
笑起來一幅波瀾不驚,
當年心裏也是慌得一批。

王峯迴憶,領導們以爲很難以想象。由於交出原有的業務,北京這個小團隊至關於「失業」了。而新的研究——流式計算引擎——當時只是個構想,連技術方向也沒有,代碼更是一行都還沒寫。對於王峯來講,這至關於一次破釜沉舟的內部創業,前途未卜,兇險異常。

事實也證實,別人的擔憂都是對的。一開始團隊努着勁兒寫了三個月代碼,仍然沒辦法達到蔣曉偉理想中的通用性,連他本人都有點心虛。

「我剛來阿里巴巴,就忽悠兄弟們把以前的項目都放棄了,要是最後證實個人構想是個坑,那不是害了別人麼。。。」他想。

焦急之中,已經到了 2015 年夏天,蔣曉偉忽然在業內著名的大數據峯會 Hadoop Sumit 的論壇上看到有人發表了一個驚悚的評論:感受 Flink 出來以後,Hadoop 就顯得不怎麼須要了。。。

Hadoop 是當年最火的大數據分佈式架構,這個 Flink 是個神馬,根本沒聽過啊。可是當蔣曉偉、王峯和團隊研究完技術資料以後忽然發現,這種「用流式計算來等效一切計算」的理念不就和咱們想開發的那套引擎如出一轍嗎?

蔣曉偉仰天長嘯:

真是天助我也!既然已經有開源的技術,那麼咱們只要在此之上繼續開發流計算引擎就行了啊!

這裏多介紹一句。Flink 是一個流式計算的開源框架,2010 年誕生於德國研究中心和柏林工業大學,2014年被捐贈給 Apache 基金會,並由創始公司 DataArtisans 繼續運營。

Flink 的 Logo 是一隻眼神裏有故事的松鼠。

簡單來講,2015年的時候,Flink 剛剛「出道」一年,幾乎沒有人知道,更沒有人大規模使用。就像一個剛剛畢業的大學生,看上去頗有潛力,但「穩定性」和「實用性」都缺少事實驗證。

就這樣,這幫阿里巴巴的技術專家,成爲了全球第一批使用 Flink 框架作大數據引擎研發的人,蔣曉偉一瞬間就給本身的引擎起好了名字——「Blink」。這是英文眨眼的意思。」一眨眼,全部東西都計算好了!「

2015年末,搜索部門要向阿里巴巴 CTO 行癲彙報。每人20分鐘時間,結果蔣曉偉上去講 Blink,沉浸在對這個「完美引擎」的想象中,一下就說了40分鐘。

做爲阿里巴巴全部核心技術的掌門人,行癲素來對新技術很敏感。他聽懂了蔣曉偉的技術路線,心裏也以爲至關靠譜。但這畢竟是搜索團隊本身「偷偷」搞的項目,這幫兄弟究竟能夠堅持走多遠,行癲內心也沒底。因而鼓勵蔣曉偉說:「那就等大家明年作出來,咱們再看!」

阿里巴巴 CTO 行癲 張建鋒

(3)

說到底,Blink 是一個通用引擎。它就像一個萬能發動機,能夠裝載到轎車、卡車、飛機、火箭任何地方。

蔣曉偉手握這臺「萬能發動機」的1.0版本,處處去找車實驗。他盯上的「第一批車」,就是搜索業務中的使用場景。

簡單科普一下:

搜索業務的機器學習平臺內部代號叫「保時捷」(還真是一輛車。。。),能夠根據你瀏覽商品的時間和動做,實時判斷出你可能會對什麼感興趣,從而在下一秒就能給你智能推薦可能喜歡的商品。這是阿里巴巴很是有技術含量的一個應用。

實際上,機器學習平臺當時已經「心有所屬」,配有一臺流式計算引擎——以前王峯帶領搜索團隊自研的 iStream。iStream 是專門爲搜索設計的,雖然目前能夠很好地完成任務,但結構簡單,不具備特別強的通用性。

機器學習算法團隊的一位負責人仁基,技術思想很是超前,很是巧的是,他一樣是個執着於「美感」的人。他相信,將來 Flink 極可能會成爲下一代機器學習算法重要的底層計算框架,因而在 Blink 系統研發的早期,就把團隊裏一百多位算法工程師的力量都用來配合蔣曉偉。

「一兩百人的團隊,被我一我的折騰。」回憶到這裏,蔣曉偉露出了羞赧的表情。

說得很美好,結果然拿來 Blink 一用,動不動就躺屍。。。說實話,算法工程師沒有義務爲 Blink 的技術問題買單。畢竟算法工程師是「生產汽車的」,而 Blink 這個「發動機」質量不穩定,致使人家的汽車備受詬病,能夠說至關冤枉了。

因此那幾個月一百多位算法工程師的平常就是各類吐槽「瘋子」蔣曉偉。

後來蔣曉偉才知道,這些吐槽,全都被仁基扛下來。仁基盡本身一切所能,在保護着這個弱小的 Blink。

終於,2016年5月,第一個基於 Blink 的機器學習小功能「A/B Testing」上線。雖然還存在一些青澀的小毛病,但全部的技術人都看到了,Blink 已經像會呼吸的小獸同樣,泛出誘人的引擎光澤。

最激動的,固然是蔣曉偉本人。

他把本身在 Flink 上成功的應用做爲一個演講,投給了當年的 Hadoop Sumit 大會。很是巧,Flink 的創始人 Kostas 和 Stephan 也在同一個大會上有一個演講。他們兩撥人實際是那次 Hadoop 大會上惟二的 Flink 演講。

Kostas 提早看到了議程,頓感相見恨晚,因而主動聯繫了蔣曉偉,但願他能用團隊研究的成果影響社區。

「原本以前是想本身玩玩的,咱們連阿里都不敢影響,還敢影響社區?」蔣曉偉說。可是 Kostas 和 Stephan 以爲這羣阿里人的嘗試簡直不要太酷,特別支持。

蔣曉偉深受感動,「從那時候開始就以爲,咱們不只得把阿里內部的業務作好,還要爲 Flink 社區作貢獻,把 Flink 社區作好。」

就這樣,蔣曉偉和團隊就跟組織「接上了頭」,成爲了 Flink 社區的核心成員。

Flink 創始人 Kostas
這麼帥還來搞技術
能夠說是至關想不開了

(4)

在搜索團隊內部證實了 Blink 能力,又獲得了 Flink 社區的承認,蔣曉偉終於有資格正視本身的「野心」了。

他提出要讓 Blink 支撐「雙11」上的實時機器學習任務,對方贊成了。

也就是說,雙11當天,數億人在淘寶天貓搜索商品,他們的每次查看,點擊,都會影響個性化的智能推薦,在下一秒就能看到爲本身量身定作的寶貝推薦。而這背後的實時計算,都要由 Blink 來支撐。

然而擡眼一看,夏天已經到了,距離雙11只有不到半年了。

整個9、十月份,Blink 和機器學習系統的聯調都處在各類花式崩潰之中。Blink 還小,壓根就沒見過雙十一這種「人類狂歡」的陣仗。出現了一個死結:一旦超大規模數據進來,Blink 的性能馬上大幅降低。

要知道,在 AI 領域,性能就是功能。性能大幅降低的 Blink 分分鐘就把人工智能坑成「人工智障」。

老程序猿都知道,數據規模是對一個系統最大的考驗。一個系統承受不住大規模的數據浪潮,有可能證實這個架構就是無解的。若是真是架構缺陷,那麼解決方案只有一個:放棄。

帶領團隊攻堅的王峯迴憶,那幾天「本身已經崩潰了」。

十一假期,全部團隊的人都從北京衝到了杭州,別說休假,連覺都不睡了。六七我的就在工位上吃住,尋找到底是哪一個節點出了問題。即便是面對這樣的狀況,蔣曉偉、王峯,還有其餘同事都徹底相信,Flink 架構是完美的,問題必定是局部的可解的,只是咱們還沒找到它。

終於,問題找到了!是不一樣層級算子之間的調度模式須要優化。解決這個問題以後,系統能處理的數據量馬上躍升。十月中旬,Blink 正式切上線。本覺得劫波渡盡,沒成想又是一大堆系統配合的問題接踵而來。

蔣曉偉記得,將近11月,Blink 還有一些問題沒搞定。這邊基礎引擎不搞定,算法團隊就沒辦法在它的基礎上調優雙11的算法。到最後,算法團隊的老大都直接找到蔣曉偉,着急地質問:「大家到底是怎麼回事啊?」

如今想一想,他的意思多是想讓我別折騰,直接換回去年的舊系統。但個人情商低,當時沒聽明白。就是一門心思地組織你們調優 Blink。。。

蔣曉偉回憶。

終於趕在11月前,Blink 完成了聯調。原則上,從11月1日開始,雙11的系統就要封閉代碼,誰都不能動了。可是,這是 Blink 第一次承擔這麼重大的任務,爲了萬無一失,相關團隊又提了不少冗餘性的建議。

王峯記得很清楚,一直到11月10日,還有幾個小時雙11就開始了,代碼還最後改了幾行,最終封閉。

人事已盡,惟聽天命。

11月11日,巨大的數據像海嘯同樣涌向 Blink,蔣曉偉和王峯都捏了一把汗。然而,這個年輕的引擎應對自如。

次日,Blink 在阿里巴巴一炮而紅。

2016年「雙11」
交易額定格在1207億

(5)

你覺得故事結束了麼?圖樣圖森破。緊隨而來的 2017 年對於蔣曉偉來講,簡直不要更刺激。

意識到大數據引擎這麼重要,阿里巴巴集團決定調整組織架構,集全公司之力發展大數據引擎,由原阿里雲的首席科學家周靖人組建計算平臺事業部,在流式計算方面,把公司發展最好的三個引擎團隊合三爲一。

周靖人
他也是阿里巴巴達摩院的「禪師」之一

這三個引擎分別是:阿里中間件團隊的 JStorm、阿里雲的 Galaxy、阿里巴巴搜索團隊的 Blink。

得知大牛周靖人負責整合三個團隊,正在美國參加 Flink 官方大會 Flink Foward 的蔣曉偉和王峯心裏有點波瀾。他們知道,三個隊伍合併以後,極可能在三條技術路線之中選擇一條。

蔣曉偉固然以爲本身的開源技術路線技術前景最好。但平心而論,Galaxy 的框架一樣很是優秀。更關鍵的問題在於,Galaxy 一直是周靖人團隊的成果。雖然在阿里巴巴不會出現由於親疏遠近而偏袒某個技術路線,但不能否認周靖人必定對於 Galaxy 更爲熟悉。

那時的蔣曉偉,和這個即將成爲新領導的周靖人徹底不熟悉,他徹底沒法預測將會發生什麼。

我擔憂,不會一回到國內,就沒工做了吧。。。。

蔣曉偉回憶。

回國以後,周靖人來找蔣曉偉,蔣曉偉的心已經快跳到嗓子眼了。周靖人說:「我想把整合以後的團隊交給你來負責,大家三人一塊兒商量將來的技術路線,你以爲怎麼樣?」

這意味着,蔣曉偉忽然擁有了80人的豪華陣容。那一瞬間他在內心默唸:「穩了!」只要不是強制採用某個技術路線,他就有信心說服 Galaxy 和 JStorm 的負責人。技術擺在這裏,孰優孰劣是能講得清道理的。

蔣曉偉回憶,三個技術負責人的「談判」整整維持了一週。

你們都知道,此次技術路線的抉擇,將會影響阿里巴巴將來十年甚至更遠的技術發展,誰都不敢掉以輕心。

談到最後,爭奪的焦點就集中在 Blink 和 Galaxy 之間。

Flink 的開源生態,最終說服了Galaxy 的支持者。此時的 Flink 已經不像兩年那樣鮮有人問津,而是已經造成了巨大的社區,中國已經有騰訊、滴滴、美團等公司開始用 Flink 建造本身的流式計算引擎。

在這個社區裏,會有無數國內外大牛對 Flink 的代碼作貢獻。創建在這個開源基座上的架構,也會發展得更快速。

至此,Blink 正式成爲了阿里巴巴計算引擎的王牌軍。

Flink 社區逐漸聲勢浩蕩

(6)

王牌軍可不是白當的。

2017年雙十一,Blink 領到了本身的艱鉅任務——支持全集團(阿里巴巴、阿里雲、菜鳥)的流式計算任務。

王峯告訴我,其實2016年雙11 Blink 承擔的搜索任務,已是一個重頭戲,有過這個經歷墊底,再適配不少系統的時候只不過是麻煩一點而已。惟獨有同樣:Blink 要接管後臺全部的交易數據的實時計算任務。

交易數據計算,是淘寶天貓業務的最核心。也是支撐背後支付、物流的核心依據。

不少其餘的計算都要基於訂單數據的結果。這就像麪包店的麪粉同樣,不管你作什麼蛋糕,都須要麪粉。若是麪粉的供應出問題,那整個麪包店就要關門了。因此不管面臨多大的訂單量,交易數據計算必須穩定、快速、實時。一旦出現錯誤,損失無可估量。

每一年雙十一狂歡晚會上的那塊大屏幕上顯示的實時成交數字,也是由訂單數據彙總而成的。也就是說,若是 Blink 當天掛掉,不只對淘寶天貓的運轉影響巨大,還會致使一個略爲明顯的結果:成交量大屏一直維持「0」,一秒把人丟到全球無死角。

201四、201五、2016 這三年,這個核心任務都是由兄弟引擎 Galaxy 來承擔的。

全部人都想到一個穩妥的方案:2017年「雙11」讓 Blink 和準備退役的 Galaxy 來個雙備份,若是 Blink 臨時廢掉,還能夠用 Galaxy 做爲備份頂上,至少不會丟人。

然鵝,2016年雙11的成交量是1207億元,按照歷年經驗推測,2017年的成交量八成是會超過1500億的(事實證實確實如此,達到了1682億)。而根據 Galaxy 的技術架構,若是不作大量繁瑣的優化,極可能頂不住。

初出茅廬的 Blink,就這樣成爲 2017 年雙11媒體大屏「全球指定惟一必須頂上不幹不行合做夥伴」。。。

雙11 當天,兩條 Blink 鏈路互爲備份。「雖然成功率基本是100%,但萬里有一,假設 Blink 自己設計存在未知的缺陷,或者兩條備份鏈路的機器硬件同時壞掉,均可能致使災難。」蔣曉偉回憶。

在雙11到來前一週,王峯帶領兄弟們已經把 Blink 引擎調整到無以復加的好狀態。蔣曉偉想了想,又派一樣是 Facebook 回來的大牛工程師大沙去天竺法喜寺燒了一炷香。。。

2017年11月11日零點。狂歡現場。

時鐘敲響零點,而後出現五秒倒計時。按照流程,留給 Blink 的計算時間只有這五秒。也就是說,00:00:05 的時候,不管如何大屏幕都會切到 Blink 給出的雙11前五秒交易總額。

這五秒,幾乎是蔣曉偉人生當中最漫長的五秒。

一、二、3。。。

第三秒的時候,蔣曉偉面前的監視器跳出了實時成交數據!再兩秒以後,實時交易數據被投上大屏,穹頂之下,歡聲雷動。

蔣曉偉知道,現場觀衆並不必定理解大屏運行原理,心裏也並無特意把一份掌聲送給幕後的流式計算引擎團隊。

但那一刻,他熱淚盈眶。這幾年兄弟們付出的努力值了。

168,269,635,159。每個數字,對蔣曉偉和兄弟們都意味着歲月和付出。

(7)

通過兩年雙11的考驗,已經沒人懷疑 Blink 是阿里巴巴最強悍的計算引擎之一。

因此,不只阿里巴巴集團全部用到流式計算的場景都會選用 Blink,Blink 還開始對外提供服務。雖然在蔣曉偉看來,各個場景的計算均可以用 Blink 來解決,但目前被應用最多的場景有以下幾個:

一、實時統計分析。

在電商行業,尤爲是促銷的場景中,巨大的網絡流量涌來,形勢變幻莫測。每一秒的庫存統計、訂單報表,都能揭示出用戶的行爲規律。對這些數據進行實時分析,就能隨時調整促銷策略。

二、在線機器學習。

用戶的行爲會展示出他的性格和偏好,用機器學習分析一我的瀏覽商品的姿式,就能爲他精準推薦可能感興趣的商品。

可是,可能一個用戶只瀏覽一分鐘,若是在這個時間段內沒有可以吸引他的商品,它就會退出。因此必須在一秒鐘以內,對他剛纔的動做進行實時學習,才能保證他第一時間看到感興趣的寶貝。

三、實時金融風控。

在金融領域,技術就是金錢。每成功阻斷一次欺詐交易,就等於挽回了真金白銀。經過對一個帳戶實時行爲的分析,就能夠知道如今它有沒有進行危險交易,從而在第一時間阻斷。

四、IoT 邊緣計算。

在工廠中,每臺生產線都會隨時產生數據,若是能夠實時對這些數據進行分析,就能夠減小生產線的損壞概率,提升產品的良品率。

根據參數實時調整生產線

如此,纔有了開頭一幕所說:阿里雲承建的城市大腦,能夠利用 Blink 來預測道路擁堵,爲救護車開拓生命道路。

根據阿里雲首席科學家閔萬里博士的介紹:

2018年,城市大腦第一次出國,被部署在馬來西亞吉隆坡,把救護車到達現場的時間縮短了 48.9%。

藉助工業大腦,流式計算實時判斷生產線的健康情況,幫助世界第一大光伏企業協鑫光伏提升了良品率1%,每一年能夠節省上億元的無謂浪費。

2018年12月20日,阿里巴巴將 Flink 的旗艦會議 Flink Foward 第一次引入中國,現場座無虛席。蔣曉偉、王峯和流式計算團隊的每個人,在過去的三年都親眼見證了 Flink 從踽踽獨行到集結成軍。

Flink Forward 2018 北京

爲了感謝社區的幫助,在此次會議上週靖人宣佈,在將來會把基於 Flink 修改的 Blink 流式計算引擎開源。從2019年1月開始,全部人均可以查閱這個支持了雙十一、支持了城市大腦、支持了工業IoT等無數頂級計算的引擎代碼。

也就是在這一年,王峯正式接替蔣曉偉,成爲流式計算的新掌門。而蔣曉偉則朝着他的「完好夢想」更進一步,帶着一幫兄弟在此基礎上研究「帶有流式計算引擎的數據存儲系統」——交互式查詢系統,讓這個引擎可以解決更多通用的計算問題。

帶有流式計算引擎的數據存儲系統,聽起來有些不知所云。其實,這個世界上最經典的這類系統,其實就是咱們的大腦。

咱們一輩子中會接受各類信息,這些信息共同構成大腦的資料庫,幫助咱們預測將來。每當有新的信息進來,咱們都會根據這一點點信息增量微調咱們對於將來的預測。

這種調整,毫無疑問是實時的。咱們的祖先不當心觸摸野火,從那一刻開始就會告訴本身和家人當心火焰。

咱們依靠對世界的萬億次反饋,發現了萬有引力,發現了相對論,發現了量子力學。

正是千萬人實時更新的預測能力,構成了咱們的文明,也書寫了咱們的歷史。

之前,全部關於將來的預測都在咱們的腦海裏,現在,咱們終於有機會在軀體以外,利用人類的武器——計算力——建造起一個碩大的預測引擎。

角落裏,這些技術英雄笑起來安靜而羞澀。但正因他們存在,人類面對將來,不再是手無寸鐵。



本文做者:趙慧

閱讀原文

本文爲雲棲社區原創內容,未經容許不得轉載。

相關文章
相關標籤/搜索