使用PyCharm配置Spark的Python開發環境（基礎）

在本地搭建好Spark 1.6.0後，除了使用spark-submit提交Python程序外，咱們能夠使用PyCharm這個IDE在本地進行開發調試,提高咱們的開發效率。配置過程也十分簡單，在stackoverflow上搜索到的。同時，IntelliJ IDEA加入Python插件後也能夠使用Python開發Spark程序，配置步驟一致。

個人博客原文地址連接：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html

0.安裝PyCharm和py4j

個人系統環境（Ubuntu 14.04.4 LTS）

下載安裝最新版本的PyCharm，官網地址：https://www.jetbrains.com/pycharm/download/ 。

安裝步驟：

• Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz

• Run pycharm.sh from the bin subdirectory

安裝py4j：

$ sudo pip install py4j

---

1.配置Pycharm

打開PyCharm，建立一個Project。
而後選擇「Run」 ->「Edit Configurations」 ->「Environment variables」

增長SPARK_HOME目錄與PYTHONPATH目錄。

• SPARK_HOME:Spark安裝目錄

• PYTHONPATH:Spark安裝目錄下的Python目錄
  

---

2.測試Pycharm

運行一個小的Spark程序看看：

"""SimpleApp"""

from pyspark import SparkContext

logFile = "/home/tom/spark-1.6.0/README.md"
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

運行結果：

Lines with a: 58, lines with b: 26