PySpider基本架構一般瞭解

從on_start開始調用， 回調至index_page,(.doc)是一個pyquery請求解析函數 .items()是一個pyquery的API self.crawl會生成一個request Pyspider基本架構： 1.scheduler :調度器， 調度程序從處理器的newtask_queue接收任務。確定任務是新任務還是需要重新爬網。 2.fetcher:請求器,發送請求；與 phan

>>阅读原文<<