pyspark設置python的版本

一般情況下，spark內置的python的版本是2的版本，現在我想把python的版本切換成3的版本，步驟如下（前提是所有節點都已經安裝好python3） 1.修改spark-env.sh文件，在末尾添加export PYSPARK_PYTHON=/usr/bin/python3 2.把修改後的spark-env.sh分發到其他子節點的spark安裝包下的conf目錄下 3.修改spark安裝包b

>>阅读原文<<