MapReduce去空去重

MapReduce清洗數據 注意：此代碼雖能完美實現需求，但還有一些地方需要優化 詳細優化內容請訪問下方鏈接，更新時間2019/03/13 https://blog.csdn.net/weixin_42063239/article/details/88537897 前言 爬蟲爬取的數據中會有一些數據有空值或者數據重複，想要得到規範的數據則要進行數據清洗，對保存爲csv類型的數據來說可以用pytho

>>阅读原文<<