以智能數據架構，挖掘增加金礦

對不少技術團隊來講，在搭建智能數據架構的過程當中，或多或少會遇到一些疑惑和挑戰，通過屢次實踐後，有些團隊已經破除疑惑，成功探索出一條搭建智能數據架構之路，那麼他們是如何實現這一技術的呢？在近日的個推技術沙龍成都站，幾位架構大師在現場開啓了數據技術的「腦暴時間」。

 

諾基亞網絡成都研發中心研發經理

劉朋  《數據增加時代的研發管理》

企業在應對數據增加帶來的巨大挑戰時，需在研發和管理方面作好充足準備。

研發方面，提高數據存儲的擴展性；管理方面，除了增長對人和設備的管理外，要努力打造一支具備數據驅動型領導力的團隊，讓團隊中的決策以數據爲依據，同時創造出以數據爲核心的文化氛圍。

大數據時代，想要成爲一名數據驅動型領導(Data-Driver Leader)，須要具有三大招式。

第一招：關注研發團隊的經濟效益數據（Take an Economic View）

研發團隊不只是成本中心，他們也具備創造經濟效益的能力，做爲一名數據驅動型領導，在平常工做中要關注相關技術實踐可否爲公司帶來經濟利益。

第二招：讓團隊數據可視化(Transparency)

在一支研發團隊中，部門領導須要將數據可視化，讓團隊中的每一個人都對核心數據有所瞭解，這樣一來，當問題出現時，每一個人都有能力去解決。

第三招：基於數據，及時快速反饋(Fast Feedback)

在團隊運行過程當中，做爲領導者，不只要制定好相應規劃，同時要不斷分析數據查找問題，並基於數據以及KPI給成員提供反饋。

雖然數據驅動型領導在推進公司決策方面具備重要做用，但隨着公司人員的擴充，部門牆和局部優化（Sub-optimization）愈來愈明顯，此時須要打破部門牆，讓各個部門和團隊都能圍繞一個共同的目標進行協做，以達到效益最大化的目標。

 

個推大數據架構師

袁凱 《機器學習平臺建設與實踐》

機器學習工做的常規流程：運營者首先要將商業問題轉化爲機器學習可以解決的問題，而後再進行數據收集以及清洗和聚合的工做，接下來開啓數據探索和特徵工程，通過上述步驟，便能獲得事物預測所須要的所有因素，此時，運營者能夠選用不一樣的算法，並將算法進行訓練，獲得相應的應用模型。最後，運營者還須要利用真實的數據進行驗證，確保模型的可行性。

機器學習做爲一門多領域交叉學科，是解決許多實際問題的有效工具。個推經過機器學習，構建了獨有的冷、熱、溫標籤，用以分析不一樣羣體的基礎屬性和行爲特徵，描繪用戶的精準畫像，最終運用於智能推送和精準營銷。

想要完成機器學習平臺的建設，須要注意三大要點：

1.只有端到端的平臺建設纔會真正產生價值，同時，特徵工程的數據和代碼沉澱須要共享運營。

2.從成效出發，聚焦痛點，不要盲目跟隨行業，作好系統和培訓的一體化。

3.謹慎引入新技術棧。

爲了不機器學習平臺建設中出現的常見問題，個推的建模平臺會提供相應的IDE以及呈現相應特徵的管理系統，同時還能提供標準化的ID匹配服務和數據抽取服務，減小工程師的重複工做。此外，個推提供的打包部署服務和後續監控服務，也可以幫助企業保證平臺的順利運行。

 

聚美優品大數據高級工程師

賀鵬《大數據3.0流計算與智能決策》

大數據3.0時期，Hadoop第一代、Spark內存計算第二代，早期流計算以及人工智能流計算同時並存。

早期流計算具備強一致性、數據亂序與延遲等五大困難點，Flink的出現，有效解決了這些難題，同時Flink還兼具了能夠實時增量計算、SQL支持以及CEP支持等六大優勢。

流計算髮展至今，已經具有了CEP這一強大功能，這也是支撐流計算智能化的關鍵因素所在。現實生活中，不少複雜的場景沒法經過顯式規則來進行判斷(傳統編程爲規則編程、指令編程以及if else編程)，好比你沒法用if else寫出如何判斷哪一張圖片是樹葉，你沒法用有限的規則寫出如何判斷數據流中哪些是人爲操做、哪些是機器人刷單，此時須要用機器學習模型來檢測和匹配，同時須要ML和流計算相結合使用。

一般狀況下， ML模型主流場景有分類和迴歸兩大場景，他們能夠檢查抽象中無狀態 f = fx(x1,x2 ..)無狀態模型(有狀態的模型典型表明rnn)，而在SQL語義中 UDF恰好與之對應(無狀態)，須要把模型放入流處理系統中，也就是將tensorflow `PB` model模型註冊爲udf，完成上述步驟後，數據流會進入ML檢測階段。

使用流計算相關功能時，須要強大的平臺予以支持，以便在上面實施SQL開發、受權等操做。