Scrapy中Spiders的用法

本文來自官方文檔 包括Spiders的簡介、一些參數的實例講解和一些例子。 Spiders Spider類定義瞭如何爬取某個(或某些)網站。包括了爬取的動作(例如:是否跟進鏈接)以及如何從網頁的內容中提取結構化數據(爬取item)。 換句話說，Spider就是您定義爬取的動作及分析某個網頁(或者是有些網頁)的地方。 對spider來說，爬取的循環類似下文: 以初始的URL初始化Request，並設

>>阅读原文<<