爬蟲進階第一天

SCRAPY知識點 1、scrapy框架的組成部分 1.引擎engine：其餘組件的通訊橋樑，相似於Controller 2.爬蟲spider：爬蟲程序的開始位置且數據解析也在此。 3.調度器scheduler：全部下載任務Request都會被接收， 4.下載器Download：從引擎獲取請求對象，請求數據下載。 5.數據管道Pipeline：負責解析數據以後處理，如保存到mysql等 [外鏈圖片

>>阅读原文<<