python之爬蟲基礎

有個叫微指數網站，就是微博上一些數據統計分析 在網頁中點擊顯示網頁源碼，出現的就是該url對應的響應 robots協議中，allow:/artical 允許爬取 artical目錄下內容 disallow:/product 不允許。。。。。 爬蟲只會請求當前url的響應，這與瀏覽器（用JS）渲染後所得網頁不同 一個url地址帶上錨點與不帶錨點，請求響應是一樣的， 服務器從請求頭中user-Agen

>>阅读原文<<