scrapy 爬蟲踩過的坑（I）

問題1：正則表達式沒問題，但是爬蟲進不了item方法 分析： 　　1. 可能是下載不到list 頁面的內容。可以用 scrapy shell url 進行測試 　　 　　2. 可能是allowed_domains 不允許 　　   　　3. list 頁面裏的鏈接不符合正則表達式 或者說list 頁面里根本就沒有相關的鏈接 解決方案  針對第一種：有可能是所爬取的網站有反爬蟲機制，比如禁掉你的ip

>>阅读原文<<