spark-3-macOS配置hadoop+spark+IDE

【教程1】https://blog.csdn.net/shiyutianming/article/details/99946797  + 【教程2】http://dblab.xmu.edu.cn/blog/1689-2/ 

 兩個對照着理解一下就好了，apache-spark能夠不用homebrew安裝，按教程1中步驟直接下載安裝便可。

 

【補充】若是想要默認使用 anaconda 的環境啓動 pyspark：

在~/spark-3.0.0-bin-hadoop3.2/conf/spark-env.sh 中增長 export PYSPARK_PYTHON=/Users/chaojunwang/anaconda2/envs/python36/bin/python（舉例），指定python源便可，以後只要用conda切換環境，便可在 jupyter notebook 等IDE中使用pyspark。