zip命令的坑 pyspark --py-files導入zip包不生效 / python導入zip包不生效

背景 pyspark做業在cluster模式提交時候除了執行的文件外，若是有其餘依賴的話，須要用–py-files導入，若是是導入一個python包(帶__init__.py的文件夾)的話，須要先打包成zip包。(只是一種方式，也能夠打包環境上傳HDFS，和本文無關很少說) 如: 想要調用的request包若是dn節點的機器上沒有的話，能夠把源碼直接打成zip而後才能夠調用python --py-

>>阅读原文<<