20年硅谷技術牛人到訪DataPipeline談:技術如何與業務平衡發展

導讀:技術人員的常態是「左手支持業務簽單,右手提高系統性能」,卻常常陷入技術和業務該如何平衡發展的困惑?今天,且聽一位硅谷牛人分享他的平衡之道。api

以我的名譽申請31個國內外技術和產品專利,中國最佳CTO 戰略獎,超過20年的互聯網業務架構和技術管理經驗,曾15年任職於eBay、Yahoo、Netscape等互聯網知名公司,曾6年擔任攜程旅行網CTO……服務器

帶着這麼多光環的葉亞明(Eric Ye),3月22日受邀走進北京數見科技有限公司(如下簡稱DataPipeline)在北京五道口組織的技術分享會,回顧20年多年互聯網從業經歷,向與會者分享了做爲一個技術人員該如何看待技術與業務的平衡發展。
圖片描述微信

如下是咱們後期整理的內容供你們參考。架構

問題:從一個工程師到技術牛人,請您聊聊您的我的成長路線。

Eric Ye:在國內讀完研究生以後,我就去美國硅谷工做了,曾經就任的公司包括雅虎(當時尚未Google)、eBay(當時與PayPal一塊兒市值第1名)、Netscape,屬於第一批互聯網技術人才。分佈式

2011年到中國來擔任攜程CTO直到2017年。當時,個人考慮是,在硅谷15年所擁有的經驗和能力應該能夠幫到不少發展中的中國公司。加入攜程,是由於攜程也是一個交易型互聯網平臺,這一點與eBay交易模式類似且技術是相通的,最主要的是以爲當時的攜程更須要互聯網基因,我能在技術上主導其轉型發展。oop

問題:擔任CTO的這段時間裏,您認爲對您最大的挑戰是什麼?

Eric Ye:當時確實面臨不少方面的挑戰。性能

攜程呼叫中心在國內是最好的,靠這個吃了十年的飯。當移動互聯網時代來臨的時候,須要幫攜程扭轉思想,轉變習慣性的思考到互聯網思惟,是我和許多骨幹一塊兒作大量的工做。學習

同時,在其餘方面的改變也同時跟上。在基礎架構方面,攜程如今全部的計算資源90%都雲化了,無論你須要1臺或100臺新服務器均可以在1小時內落地啓用。隨着Hadoop這種新技術的成熟,我從一個服務器廠家訂購了數十個Node專門搭建分佈式集羣系統。後來陸續增長到上百個Node、上千個Node同時運營。今天,這個平臺天天能跑幾十TB的數據量。對於一家互聯網企業來講,這纔算是真正的挑戰。大數據

在發佈流程上,原來須要幾百人準備一些腳本進行迭代和發佈,如今所有是CD(Continuous Delivery,持續交付)模式。通常狀況下,咱們一個禮拜發佈的迭代上千個,平均天天數百個,高峯時間同時發佈的就有上百個迭代。改成CD模式後,咱們能夠作到全程無人工干預,自動打包、驗證、發佈到不一樣工做臺(staging)、數據中心,一旦有問題再回寫(roll back)。這一套內功的練習,咱們反覆演練了多年。spa

在數據中心面臨突發問題時,一個數據中心被攻擊,另一個數據中心能夠瞬間接替全部工做。之前,咱們常常聽到「雙活」數據中心,攜程如今是一個「三活」數據中心。相比「雙活」,後者架構的難度就要大得多。

在數據應用上,我提出從用戶的角度出發思考問題,即用戶須要什麼,攜程就作什麼。具體來講,就是將用戶在查詢、瀏覽、預訂、出行、評論等一系列旅行先後所產生的大量信息,進行實時篩選、分揀與從新組織並推送到用戶出行前、出行中、出行後的個性化需求中。咱們的挑戰來自於兩方面,一是怎麼把用戶產生的多源異構數據源進行實時自由的流轉和共享,二是這些數據既複雜又不規則,怎麼剔除無效數據的同時保證數據的真實性。

總結一下,我當時面臨的挑戰,在技術上是從無到有從有到大,在業務上是從不穩定到穩定,業務模式從呼叫中心爲主轉型爲以移動互聯網爲主,全部業務的總量相比過去提高了22倍,每一年支撐中國2億人在攜程上購買旅遊相關服務。

問題:做爲技術負責人,您是如何平衡短時間業務線發展和長期技術路線發展的?

Eric Ye:用一句話來描述個人平衡之道,左手支持業務人員簽單作銷售,右手不斷提高系統平臺的性能。

公司養這麼多技術人員就是爲了保障業務連續性的,不然技術在業務人員面前是擡不起頭的,業務的優先級是很是最高的。例如,某客戶的業務數據在一年內實現10倍甚至更高的增加,若是能始終保障系統的正常運營,技術人員就能夠自豪地說,技術支撐着業務高速發展。

業務的高速發展對技術的壓力是多方位的。正由於這些多方位的壓力,纔給技術人員鍛鍊成長的最好機會,一旦把這些問題解決了,技術團隊的思考方式、技能實力就能在這個過程當中獲得提高。

業務須要作到必定程度以後,系統纔會暴露出不足,讓技術去提高性能。可是,技術人員不能被業務人員牽着鼻子走,還必須有一個長期技術路線規劃,有本身的平衡,好比,怎麼管理業務的並行、怎麼管理鏈接、怎麼作集中發佈、怎麼延展系統平臺,怎麼適配種種業務功能,平臺的技術提高等,這些方面技術人員100%要有本身的前瞻性。因此,個人觀點是:技術必定要走到業務的前面。

當年的攜程擁有近百個業務線,每一個業務線對應一個研發團隊。爲了更好地服務於業務,在人才引進方面,我有意引進一些有互聯網產品理念的人作研發,這樣可以更好地應對業務的需求。在團隊管理方面,我認爲技術研發和業務研發團隊應該分開,讓技術人專一提供技術導向的高難度動做,業務研發人員更專一地去作業務場景的適配。

問題:您以爲技術人員要如何提高對業務的敏銳度?

Eric Ye:90%的技術人員對業務的敏銳性很弱,學校裏就是這麼教的。這是一個理念的問題。

企業無須要求100%的技術人員有這樣的意識,10-20%的技術人員有這樣的思考,對於一個組織來講就是一個良性的思考,特別是一些有感受的技術人去思考。所以,企業要逐漸培養這樣的技術人員。

通常狀況,技術人員會第一個時間拿到業務問題,從業務問題轉化到技術問題,慢慢地轉化,洗練多了之後,技術人員會提出當前業務還沒有遭遇到應用場景和問題,這就是一個好的開始。

雖然,技術人員能主動提出超越當前業務人員遇到的問題,可是初期判斷並無那麼準。沒有關係,這個準確性會逐漸提升,通過與客戶和合做夥伴碰撞過程當中,一批用心的技術人員發現問題就會愈來愈敏銳。固然,這些是慢慢培養出來,看書是得不到的。

問題:無論是公司仍是工程師我的,都但願經過必定技術創新、業務創新成功申請專利。在您的職業生涯裏已經拿到了不少專利,請問您是怎麼作到的?

Eric Ye:我曾經數了一下,僅僅以我我的名字命名的專利就有31個。下面,我分享兩個經驗。

首先在大家所熟悉的領域裏,去確認一下,哪些問題是整個行業都感受到比較頭疼的問題,當前的情況是整個行業都解決得都很差,大家想到一個辦法能把這個難題很好地解決,哪怕你還只是一個方法,在別人尚未想到這個方法的時候,你就能夠先去申請專利。

第二,面向業務的專利很好申請,由於每每只有某些特定業務場景下的工程師才能想到創新的方法。我舉個親身見證的例子,如今網上有一個服務叫「一口價」和「拍賣價」,在實體商城產品是沒有兩個價格,可是電商能夠。在國外,eBay已經申請了業務專利,若是其餘電商也去推廣這種業務就會被告侵犯專利權。

問題:當前不少軟件產品都愈來愈智能化,這種趨勢讓技術人員感到強烈的擔心。您以爲技術人員未來的職業發展將何去何從?

Eric Ye:首先是你要找到本身的願望。蛇要蛻皮的時候,都已經知道本身要長成什麼樣子。

若是你很滿意當前的狀態,其實能夠繼續作5年甚至10年以上,最終成爲這個領域的大拿。可是,若是你不滿意現狀,還須要本身考慮更適合本身的領域,好比數據挖掘。這須要你去明確找到本身新的願望是什麼。不斷地尋求,固然尋找的方法不少,找朋友聊、看書等,可是你必須本身把握,不能讓別人幫你決定。

以我我的的性格,是不喜歡一件事情作太多年的。在過去的20年裏,我作過不少嘗試,從技術走向管理崗位。不過,我認爲不是全部工程師或架構師都適合作管理,你要對人感興趣、對業務感興趣,對技術感興趣。並且,你要可以讓團隊成員都有足夠的提高空間,平臺要越搭越大,讓工程師有很好的成長,不然他不肯意跟着你。

一旦找到本身發展的一個方向,就要明確下來,經過逐漸探索,你就會知道本身將來想作成什麼樣。若是你很滿意這個方向那就繼續,若是不滿意那就不斷探索。

提醒一點,人有必定的危機感是好事情,可是千萬別過度擔心,保持必定的壓迫感就好。

問題:您可否推薦一些對您影響較大的書或人。

Eric Ye:我很差直接給你推薦某一本書,每人的狀況不同。處於某個階段,就應該多看相關方面的書。

10年前我會看不少技術類圖書,甚至有一段時間我想看Java類圖書,每週都會去圖書館,把那個圖書館全部這類圖書都翻看一遍。例如,你以爲Kafka比較有幫助,就快速補充。

由於工做性質的轉變,最近10年,我看管理類的圖書會比較多一點,由於要管理團隊。那麼,管理團隊其實不是管人,而是給他們的工做流程一個指導,引導他們作正確的決定、正確的作事。

在人員交往上,我喜歡與技術大咖們交往、碰撞,挑戰他們的想法,固然,我也會提出個人觀點與他們交流,這樣才能幫助雙方共同成長。這就像是練武之人,都喜歡與高手交手,能夠提高本身的經驗和技術。

總結下來,就是要始終保持一個學習的心態。即便是如今,我都會隨身攜帶一個小本子,聽到有意思、有興趣的關鍵地方,我都會認真作筆錄。這是一個很是好的習慣。不少很厲害的人之因此能保持這種良好的狀態,都是由於他們養成了很好的學習習慣。

問題:上週二,Salesforce.com宣佈65億美圓收購MuleSoft。您怎麼看待此次收購?這次收購對中國數據集成市場有着什麼樣的映射影射意義?

Eric Ye:Salesforce.com收購MuleSoft公司,一方面是能夠進一步鞏固雲服務商的領先地位,另一方面是看重MuleSoft在應用集成領域的價值,包括企業內部和企業之間的應用整合,即不一樣企業之間通話就經過MuleSoft的SDK完成,成爲雙方通話的標準。

若是咱們把企業之間的通話看作一張網的話,那麼每一個企業就是網上的一個節點。可是,我認爲目前在中國市場,企業與企業之間的通話需求可能還未成氣候,集成項目主要解決的仍然是企業單點數據問題——鏈接企業內部全部數據孤島。

當前,中國大部分企業在大數據的採集、存儲數據的工做愈來愈高效和成本也愈來愈低廉,可是企業對大數據應用環節仍然不夠高效,成本仍然很是高。其核心問題就是企業仍然沒有解決本身單個「節點」的數據孤島問題。只有將異構數據源的數據高質量、高效率地整合到一塊兒,進而進行加工、分析、挖掘和展示,才能更精準地驅動商業決策和業務決策等。

其實,咱們搞技術的一直嘗試,用更好的方案解決數據融合問題。在20年從業經歷中,我也曾經屢次帶着團隊構建鏈接企業內部數據孤島的應對體系和系統平臺,深知這個過程的不易。因此,當我發現目前這個問題對不少國內企業來講都還是一個巨大的挑戰時,我就認定中國集成市場將來還有很大的成長空間,從數據集成到應用集成,再從企業內集成到企業間集成,咱們的企業都須要標準化的產品提供服務。這也是我比較看好相似DataPipeline(www.datapipeline.com)這樣公司發展前景的主要緣由。

PS.添加DataPipeline君微信:datapipeline2018,拉你進技術討論羣。

相關文章
相關標籤/搜索