puython爬蟲基礎(一)

首先我們先學會urllib2的類庫的使用  下面是代碼 返回的數據就是網站的源碼,下面是一部分 看到百度一下我就只知道我們成功了 這樣雖然能直接獲得網頁源碼可是也暴露除了我們的ip,對於我們以後的開發不利 我們都知道用戶每一次訪問網頁的時候都會先上代理服務器發送然後在由代理服務器向網站服務器發送,然後依次傳到用戶端上,這時就有了怎區別服務器返回的數據一定是你的呢,這時候就出現了userAgent的
相關文章
相關標籤/搜索