scrapy框架+selenium驅動谷歌瀏覽器爬取簡書網站存入mysql的網站級爬蟲

前言：由於以前是學了爬蟲的，以前常用request，bs4,re等來爬去網頁等數據，也做過一些大型網站，後來很多人都說request適合網頁級爬蟲，爬網站級還是異步的scrapy框架好，二者都是優秀的爬蟲工具，request適合新手，入門很輕鬆，爬取的邏輯和過程也好理解，scray入門稍難是一個系統的5+2結構，很有可能會懵逼，要花一段時間理解運用，才能逐漸理解這個框架，畢竟官方的文檔寫的說明就那

>>阅读原文<<