《精通Python網絡爬蟲：核心技術、框架與項目實戰》——3.3 網頁更新策略

本節書摘來自華章出版社《精通Python網絡爬蟲：核心技術、框架與項目實戰》一書中的第3章，第3.3節，作者 韋　瑋，更多章節內容可以訪問雲棲社區「華章計算機」公衆號查看。 3.3　網頁更新策略 一個網站的網頁經常會更新，作爲爬蟲方，在網頁更新後，我們則需要對這些網頁進行重新爬取，那麼什麼時候去爬取合適呢？如果網站更新過慢，而爬蟲爬取得過於頻繁，則必然會增加爬蟲及網站服務器的壓力，若網站更新較快，

>>阅读原文<<