scrapy框架的每個模塊的用途

## 一、scrapy框架的每個模塊的用途 1、spiders: 自定義爬蟲 定義允許爬取的範圍 定義開始爬取的url parse:一定要重寫 start_request：一般不需要重寫，可以通過重寫start_request進行模擬登陸 2、items 1）定義爬取的items域，是一個類字典的一個對象 如果在爬蟲中定義了其他其他的鍵，即超過item的爬取範圍，那麼就會報錯 2）其實可以通過在s

>>阅读原文<<