網絡爬蟲流程與注意事項

在寫爬蟲之前，還是需要了解一些爬蟲的基礎知識，如 HTTP 原理、網頁的基礎知識、爬蟲的基本原理、Cookies 基本原理等。 網絡蜘蛛是一個很形象的名字。如果把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過 網頁的鏈接地址來尋找網頁，從 網站某一個頁面開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接 地址尋找下一個網頁，這樣一直循環下去，直到把

>>阅读原文<<