《Spark 官方文檔》機器學習庫（MLlib）指南

spark-2.0.2

機器學習庫（MLlib）指南

MLlib是Spark的機器學習（ML）庫。旨在簡化機器學習的工程實踐工做，並方便擴展到更大規模。MLlib由一些通用的學習算法和工具組成，包括分類、迴歸、聚類、協同過濾、降維等，同時還包括底層的優化原語和高層的管道API。

MLllib目前分爲兩個代碼包：

• spark.mllib 包含基於RDD的原始算法API。
• spark.ml 則提供了基於DataFrames 高層次的API，能夠用來構建機器學習管道。

 

咱們推薦您使用spark.ml，由於基於DataFrames的API更加的通用並且靈活。不過咱們也會繼續支持spark.mllib包。用戶能夠放心使用，spark.mllib還會持續地增長新的功能。不過開發者須要注意，若是新的算法可以適用於機器學習管道的概念，就應該將其放到spark.ml包中，如：特徵提取器和轉換器。

下面的列表列出了兩個包的主要功能。

spark.mllib: 數據類型，算法以及工具

• Data types（數據類型）
• Basic statistics（基礎統計）
  • summary statistics（摘要統計）
  • correlations（相關性）
  • stratified sampling（分層抽樣）
  • hypothesis testing（假設檢驗）
  • streaming significance testing
  • random data generation（隨機數據生成）
  • Kernel density estimation （核密度估計）
• Classification and regression（分類和迴歸）
  • linear models (SVMs, logistic regression, linear regression)（線性模型（SVM，邏輯迴歸，線性迴歸））
  • naive Bayes（樸素貝葉斯）
  • decision trees（決策樹）
  • ensembles of trees (Random Forests and Gradient-Boosted Trees)（樹套裝（隨機森林和梯度提高決策樹））
  • isotonic regression（保序迴歸）
• Collaborative filtering（協同過濾）
  • alternating least squares (ALS)（交替最小二乘（ALS））
• Clustering（聚類）
  • k-means（K-均值）
  • Gaussian mixture（高斯混合）
  • power iteration clustering (PIC)（冪迭代聚類（PIC））
  • latent Dirichlet allocation (LDA)（隱含狄利克雷分配）
  • bisecting k-means（平分K-均值）
  • streaming k-means（流式K-均值）
• Dimensionality reduction（降維）
  • singular value decomposition (SVD)（奇異值分解（SVD））
  • principal component analysis (PCA)（主成分分析（PCA））
• Feature extraction and transformation（特徵抽取和轉換）
• Frequent pattern mining（頻繁模式挖掘）
  • FP-growth（FP-增加）
  • association rules（關聯規則）
  • PrefixSpan（PrefixSpan）
• Evaluation metrics（評價指標）
• PMML model export（PMML模型導出）
• Optimization (developer)（優化（開發者））
  • stochastic gradient descent（隨機梯度降低）
  • limited-memory BFGS (L-BFGS)（有限的記憶BFGS（L-BFGS））

spark.ml: 機器學習管道高級API

• Overview: estimators, transformers and pipelines（概覽：評估器，轉換器和管道）
• Extracting, transforming and selecting features（抽取，轉換和選取特徵）
• Classification and regression（分類和迴歸）
• Clustering（聚類）
• Advanced topics（高級主題）

雖然還有些降維技術在spark.ml中尚不可用，不過用戶能夠將spark.mllib中的的相關實現和spark.ml中的算法無縫地結合起來。

依賴項

MLlib使用的線性代數代碼包是Breeze，而Breeze又依賴於 netlib-java 優化的數值處理。若是在運行時環境中這些原生庫不可用，你將會收到一條警告，然後spark會使用純JVM實現來替代之。

因爲許可限制的緣由，spark在默認狀況下不會包含netlib-Java的原生代理庫。若是須要配置netlib-java/Breeze使用其系統優化庫，你須要添加依賴項：com.github.fommil.netlib:all:1.1.2（或者在編譯時加上參數：-Pnetlib-lgpl），而後再看一看 netlib-java 相應的安裝文檔。

要使用MLlib的Python接口，你須要安裝NumPy 1.4以上的版本。

遷移指南

MLlib目前還在積極的開發當中。因此標記爲 Experimental / DeveloperApi 的接口可能在將來發生變化，下面的遷移指南說明了版本升級後的變化。

從1.5升級到1.6

從1.5到1.6，spark.mllib 和 spark.ml 包中並無重大的API變化，不過有一些行爲再也不支持或者發生變化。

已經廢棄:

• SPARK-11358: spark.mllib.clustering.KMeans 的runs參數已經廢棄
• SPARK-10592: spark.ml.classification.LogisticRegressionModel和spark.ml.regresion.LinearRegressionModel 中，weights字段更名爲coefficients。這一變更有助於消除歧義，能夠和輸入給算法的實例（行）權重（weights）區分開來。

行爲有變:

• SPARK-7770: spark.mllib.tree.GradientBoostedTrees: validationTol 的語義在1.6中有變。原先其表明偏差變化絕對值的一個閾值，而如今它相似於GradientDescent中的convergenceTol：對於較大的偏差，使用相對偏差（相對於上一次）；而對於較小的偏差（<0.01），使用絕對偏差。
• SPARK-11069: spark.ml.feature.RegexTokenizer：之前，在分詞以前不會講字符串轉小寫。如今的實現是，默認會將字符串轉小寫，不過有選項能夠設爲不轉。這中實現和Tokenizertransformer的行爲相匹配。

Spark老版本

之前版本的遷移指南歸檔在這裏：on this page

---

1. 要了解更多有關係統優化的好處和背景資料，能夠看看Sam Halliday關於ScalaX的演講：High Performance Linear Algebra in Scala

轉載自 併發編程網 – ifeve.com 本文連接地址:   Spark機器學習庫（MLlib）指南