Python爬蟲期末複習

題型 選擇題 填空題 簡答題 代碼閱讀理解題 代碼書寫題html 複習要點 一個爬蟲程序的結構： 一、 調度模塊（Scheduler）：安排發起網絡請求的策略 二、 網絡模塊（network）：發起網絡請求，並接受服務器返回 三、 爬蟲模塊（Spider）：解析、爬取數據 四、 Item模塊：定義爬取的數據項 五、 Piplines模塊：對已經爬取的數據作後續處理（存入數據庫、存入文件系統、傳遞給

>>阅读原文<<