Windows 上也能玩轉 Spark

<p>寫這篇博客以前有一個問題必定要明確，那就是 Windows 上實際上是不可能玩轉 Spark 的，之因此這麼說，只是爲了讓想體驗 Spark 的咱們也能玩玩這個東西，沒有分佈式環境真是悲催啊。可是在Windows上面咱們仍是能夠體驗一下 Spark 的，不用搭虛擬機， 只須要三樣東西。下面講乾貨。</p> <p>&#160;</p> <p> *** 一、安裝 JVM。**</p> <p> 1) 下載 JDK 最新版本，或者文檔版本，這裏下載的是 JDK8，安裝到指定目錄譬如：D:\java\java8</p> <p> 2) 配置系統環境變量：</p> <p>JAVA_HOME = D:\java\java8；</p> <p>PATH = %JAVA_HOME%\bin;%PATH%;</p> <p>CLASSPATH = %JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\jre\lib\rt.jar</p> <p> *** 二、安裝 SCALA**</p> <p>1) 下載 SCALA 最新版，解壓到指定目錄 D:\java\scala-version</p> <p>2) 配置系統環境變量：</p> <p>SCALA_HOME = D:\java\scala-version；</p> <p>PATH = %SCALA_HOME%\bin;%PATH%;</p> <p> *** 三、下載 Spark的預編譯版本，隨便一個，進入bin目錄雙擊：spark-shell.cmd**</p> <p>恭喜。一個Spark就跑起來了，裏面的不少函數你均可以用了，不過別忘記，只能讀取本地數據，和數據庫的數據。分佈式環境中的東西，你如今沒有按照 Hadoop 環境，你啥也幹不了。</p> <p>只要你安裝一個預編譯版本對應的 分佈式環境，你也能夠在那些分佈式環境裏面讀取數據，不過這個時候建議你用 Linux，如今只是一個體驗一下 Spark 的環境。</p> <p>&#160;</p> <p>Scala 語言和 R 語言真的好像，只不過R語言底層都寫好了， Scala 底層都須要本身去寫，寫完了以後，你徹底能夠按照 R 同樣去調用，如今已經有不少項目是完成了底層工做的東西。好比 scalaNLP，未來有一天，你會發現 Scala 真的是個好東西，Spark基於 Scala 如今又出了數據框 DataFrame，會不會未來有一天成爲 分佈式中的R語言，這些都是個人瞎想。</p>