python3 [爬蟲入門實戰]scrapy爬取盤多多五百萬數據並存mongoDB

總結：雖然是第二次爬取，可是多多少少仍是遇到一些坑，總的結果仍是好的，scrapy比多線程多進程強多了啊，中途沒有一次被中斷過。 此版本是盤多多爬取數據的scrapy版本，涉及數據量較大，到如今已是近500萬的數據了。html 1，抓取的內容 主要爬取了：文件名，文件連接，文件類型，文件大小，文件瀏覽量，文件收錄時間node 一，scrapy中item.py代碼 # -*- coding: utf

>>阅读原文<<