3.1.3 Jsoup設置頭信息

在網絡爬蟲中,常常須要設置一些頭信息。設置頭信息的做用是假裝網絡爬蟲,使得網絡爬蟲請求網頁更像瀏覽器訪問網頁(固然也能夠經過java的selenium框架來實現),進而下降網絡爬蟲被網站封鎖的風險。Jsoup中提供了兩種設置頭信息的方法。 第一種方法:每次只設置一個請求頭,若是要設置多個請求頭,須要屢次調用此方法;第二種方法:添加多個請求頭至Map集合。在程序3-3中,設置了一個請求頭。在程序3-
相關文章
相關標籤/搜索