Python3 爬蟲（二） -- 假裝瀏覽器

1、假裝瀏覽器 對於一些須要登陸的網站，若是不是從瀏覽器發出的請求，則得不到響應。因此，咱們須要將爬蟲程序發出的請求假裝成瀏覽器正規軍。 具體實現：自定義網頁請求報頭。 2、使用Fiddler查看請求和響應報頭 打開工具Fiddler，而後再瀏覽器訪問「https://www.douban.com/」，在Fiddler左側訪問記錄中，找到「200 HTTPS www.douban.com」這一條，

>>阅读原文<<