個人對爬蟲框架的一些認知（一）

     首先從任務的發起開始，我們畫一個簡單的流程圖： 爬蟲運行簡要示意圖          一個優秀的爬蟲框架，應當是要有個好的監控和異常處理記錄，以及各爬蟲運行在上面地方的一個簡要記錄信息。 以企查查站點爲例，一個爬蟲的整體分層架構入下圖所示： 企查查爬蟲架構圖          每個爬蟲以一個單獨的文件目錄存在，下一級分4層文件目錄，Mark記錄該爬蟲的說明信息，怎麼抓取的，有什麼防禦和需

>>阅读原文<<