騰訊AI主管帶你深度實踐Spark機器學習

前言

大數據、人工智能正在改變或顛覆各行各業，包括咱們的生活。大數據、人工智能方面的人才已經供不該求，但做爲人工智能的核心一機器學習, 因涉及的知識和技能比較多，除了須要具有必定的數學基礎、相關業務知識外，還要求有比較全面的技術儲備，如操做系統、數據庫、開發語言、數據分析工具、大數據計算平臺等，無形中提升了機器學習的門檻。

如何下降機器學習的門檻，讓更多有志於機器學習、人工智能的人能更方便或順暢地使用、駕馭機器學習?

如何使本來複雜、專業性強的工做或操做簡單化？

封裝是一個有效方法。封裝下降了咱們操做照相機的難度、下降了咱們維護各類現代設備的成本，同時也提高了咱們使用這些設備的效率。除封裝外，過程的標準化、流程化一樣是目前現代企業用於提高生產效率，下降成本，提升質量的有效方法。

硬件如此，軟件行業一樣如此。目前不少機器學習的開發語言或平臺，正在這些方面加大力度，好比:對特徵轉換、特徵選擇、數據清理、數據劃分、模型評估及優化等算法的封裝;對機器學習過程的進行流程化、標準化、規範化;給你們比較熟悉的語言或工具提供API等方法或措施，以簡化機器學習中間過程,縮短整個開發週期，使咱們能更從容地應對市場的變化。Spark 在這方面可謂後來居上，尤爲是最近發佈的版本，明顯加大了這方面的力度，咱們能夠從如下幾個方面看出這種趨勢：

1)Spark機器學習的API,正在由基於RDD過渡到基於Dataset或DatalFrame,基於RDD的API在Spark2.2後處於維護階段，Spark3.0 後將中止使用(來自Spark官網)；

2)建議你們使用Spark ML,尤爲是它的Pipeline；

3)增長大量特徵選擇、特徵轉換、模型選擇和優化等算法；

4)豐富、加強Spark與Java、Python. R的API,使其更通用。

深度實踐Spark機器學習

限於平臺篇幅緣由，小編只截取了一部分，爲了方便你們更好的閱讀，小編把相關的資料都整理好了，有感興趣的朋友能夠幫忙轉發文章後，關注私信回覆【學習】來獲取

第1章 瞭解機器學習

第2章 構建Spark機器學習系統

第3章 ML Pipeline原理與實戰

第4章 特徵
提取、轉換和選擇

第5章 模型選擇和優化

第6章 Spark MLlib基礎

第7章 構建Spark ML推薦模型

第8章 構建Spark ML分類模型

第9章 構建Spark ML迴歸模型

第10章 構建Spark ML聚類模型

第11章 PySpark 決策樹模型

第12章 SparkR樸素 貝葉斯模型

第13章 使用Spark Streaming構建在線學習模型

第14章 ensorFlowOnSpark詳解