scrapy 爬取簡單網站數據示例

上一節介紹了scrapy的安裝和創建一個scrapy項目，這一節介紹scrapy的使用，以爬取豆瓣電影排名爲例，總結編寫程序過程中遇到的問題和學到的東西。 首先創建好的scrapy項目結構圖如下： 同之前創建好的scrapy項目有所不同的是，這裏多了一個自己創建的debug_config.py文件，至於這個文件的作用，我在下面會講到 settings.py 中配置請求頭，在文件第43行，默認是註釋

>>阅读原文<<