基於Scrapy的數據分析可視系統 之 數據採集

本系統的這部分內容好像沒什麼好寫的，就不從Scrapy基礎開始說了，挑一些重點部分和容易出錯的地方 來寫一下。其中前程無憂和智聯招聘用的是scrapy，拉勾網因爲反爬太強了，用的是selenium，只能降低採集效率，用的是用selenium模擬登錄，並且還得手動輸入驗證碼（九宮格的驗證碼難以識別，找了好幾個平臺聯繫客服都說無法識別這種，就沒怎麼繼續找了，雖然手動比較low） 1，對與用Scrapy

>>阅读原文<<