webmagic抓取須要登陸頁面的內容,Site中addCookie

1 先本身登陸,而後在瀏覽器查看有關於這個網站的cookie,肯定是那幾個cookie對登陸有做用,比較麻煩的是必定得一個一個的確認,手動刪除試驗這個cookie是否對登陸有做用,還好我這個只有三個。java

查看瀏覽器的cookie,取圖中的三個值:瀏覽器

private  Site site = Site.me()
            .setRetryTimes(3)
            .setSleepTime(2000)
            .setTimeOut(60000)
            .setCharset("utf-8")
            .addCookie("域","名稱", "內容")
            .addCookie("域","名稱", "內容");

這樣設置後就能夠取到登陸才能看到的值。cookie

相關文章
相關標籤/搜索