Python鏈接HDFS實現文件上傳下載及Pandas轉換文本文件到CSV

1. 目標 經過hadoop hive或spark等數據計算框架完成數據清洗後的數據在HDFS上 爬蟲和機器學習在Python中容易實現 在Linux環境下編寫Python沒有pyCharm便利 須要創建Python與HDFS的讀寫通道 2. 實現 安裝Python模塊pyhdfs 版本:Python3.6, hadoop 2.9 讀文件代碼以下 from pyhdfs import HdfsCl

>>阅读原文<<