使用scrapy框架爬取全書網書籍信息。

爬取的內容：書籍名稱，作者名稱，書籍簡介，全書網5041頁,寫入mysql數據庫和.txt文件 1，創建scrapy項目 scrapy startproject numberone 2，創建爬蟲主程序 cd numberone scrapy genspider quanshuwang www.quanshuwang.com 3，setting中設置請求頭 USER_AGENT = "Mozill

>>阅读原文<<