python爬蟲從入門到放棄（二）- 爬蟲的深層原理

上次說到了爬蟲的基本原理、這次再深入的瞭解學習一下深層的本質。 因爲本人屬於小白，這兩年接觸的都是ETL、數據倉庫、BI 方面的東西，故這裏轉載以爲專業人士的爬蟲原理，末尾有原文地址。 爬蟲就是請求網站並提取數據的自動化程序。其中請求，提取，自動化是爬蟲的關鍵！ 爬蟲的基本流程 發起請求 通過HTTP庫向目標站點發起請求，也就是發送一個Request，請求可以包含額外的header等信息，等待服務

>>阅读原文<<