15. python爬蟲——scrapy框架五大核心組件

爬蟲（Spiders）： （1）產生url，（將產生的url封裝成請求對象傳遞給引擎）對url進行手動發送，傳遞給引擎。 （2）進行數據解析，Spider拿到response後，可調用parse進行數據解析，解析完後的數據將被封裝item對象當中，再發送給引擎。 接收Spider傳來的請求對象，再將其轉發給調度器。 引擎（scrapy）： 用來處理整個系統的數據流處理, 觸發事務(框架核心)。相當

>>阅读原文<<