[Python爬蟲] 6-Scrapy框架

# I.Scrapy框架架構: # 1)框架概念:寫一個爬蟲,須要[發送網絡請求,數據解析,數據存儲,反反爬蟲機制(更換ip代理、設置請求頭等),異步請求等]這些工做若是每次都要本身從零開始寫的話,比較浪費時間,所以Scrapy把一些基礎的東西封裝好了,在他上面寫爬蟲能夠變的更加的高效(爬取效率和開發效率) # 2)框架模塊功能: # 1.Engine:核心部分,負責在Spider和ItemP

>>阅读原文<<