Python爬蟲技術、框架、實現

1、爬蟲技術概述 爬蟲，即網絡爬蟲，是經過遞歸訪問網絡資源，抓取信息的技術。 　　互聯網中也有大量的有價值的信息數據，手動下載效率很是低下，爬蟲就是自動化爬取下載這些有價值的信息的技術。 　　互聯網中的頁面每每不是獨立存在的，而是經過超連接鏈接成了一個網絡，爬蟲程序就像一隻蜘蛛同樣，經過訪問超連接在這張網絡中移動 ，並下載須要的信息，理論上能夠將爬取到整個互聯網的絕大部分數據。 爬蟲技術最開始來源

>>阅读原文<<