學習筆記之PySpark

文章目錄 一、PySpark 的背後原理 二、文檔 三、pyspark讀寫dataframe 四、通過spark-submit提交任務模板示例 五、代碼示例 1、WordCount詞頻分析 2、使用PySpark語言開發操作Hive 一、PySpark 的背後原理 架構圖： 其中白色部分是新增的Python進程，在Driver端，通過Py4j實現在Python中調用Java的方法，即將用戶寫的Py

>>阅读原文<<