Python到pyspark中的py-files的問題

在spark平臺上執行Python算法涉及到Python程序的改寫，其中import部分需要額外注意。如果我們在執行某個test.py程序時需要調用另外一個common.py,需要在test.py內部添加import common，而此時的import common 不能放在程序頭部，需要放在context之後。同時在執行程序時需要–py-files 參數指定引用模塊的位置。圖2爲通過livy調用

>>阅读原文<<