[Python爬蟲] 6-Scrapy框架

# I.Scrapy框架架構: # 1)框架概念:寫一個爬蟲,需要(發送網絡請求,數據解析,數據存儲,反反爬蟲機制(更換ip代理、設置請求頭等),異步請求等)這些工作如果每次都要自己從零開始寫的話,比較浪費時間,因此Scrapy把一些基礎的東西封裝好了,在他上面寫爬蟲可以變的更加的高效(爬取效率和開發效率) # 2)框架模塊功能: # 1.Engine:核心部分,負責在Spider和ItemPi

>>阅读原文<<