Spark學習之Spark安裝

Spark安裝

spark運行環境

• spark是Scala寫的，運行在jvm上，運行環境爲java7+
• 若是使用Python的API ,須要使用Python2.6+或者Python3.4+
• Spark1.6.2  -  Scala 2.10    Spark 2.0.0  -  Scala  2.11

Spark下載

• 下載地址：http://spark.apache.org/downloads.html
• 搭建spark，不須要Hadoop，若有Hadoop集羣，可下載對應版本解壓

Spark目錄

• bin包含用來和Spark交互的可執行文件，如spark shell
• core、streaming、Python,包含主要組件的源代碼
• examples包含一些單機spark job，能夠研究和運行這些l例子

spark的shell

• spark的shell可以處理分佈在集羣上的數據
• spark把數據加載到節點的內存中，所以分佈式處理可在秒級完成
• 快速迭使代式計算，實時查詢，分析通常可以在shells中完成
• spark提供了Python shells和Scala shells

spark安裝步驟

1. 將下載文件上傳到服務器端
2. 解壓，進入bin目錄，輸入如下命令

   sudo ./spark-shell

3. 可看到歡迎界面

       4.測試代碼以下：

spark shell 實例 val lines(變量)=sc.textFile("../../helloSpark") lines.count() lines.first() 把文本文件加載成RDD複製給lines的RDD