當爬蟲遇上重定向

爬蟲之處理重定向問題 問題導論 什麼是重定向？ 簡單的說，重定向就是請求被轉發到其他頁面去了 在生活中，當我們打開一個網址時，往往需要等待稍長一段時間，而最終 的網址也發生的 變化，這就是重定向。如果我們日常用瀏覽器瀏覽網站倒是沒有什麼問題，但是，當我們使用爬蟲來爬取這樣的頁面時，真正的網址就會被忽略。那麼，我們該如何處理這樣的情況呢？ 實例分析 下面我們以兩個個真實的網址，我們要提取它的titl

>>阅读原文<<