jsoup爬蟲實戰心得

1.heder很重要，一切盡在header中。尤爲cookie，useragent。

2.對於加密的鏈接，查看js加密過程並試着經過java或你正在使用的語言去實現

3.查看在跳轉以前前端發起的關鍵請求，所謂關鍵請求乃指包含查詢關鍵字的連接。

4.發送關鍵字請求是爲了與服務器進行交互通訊握手言和，取得信任。

5.這樣再跳轉過去真正請求的時候就不會往驗證碼頁面跳轉了。

6.一切ok！你須要的就在眼前！

7.爲防止反爬，後臺須要間隔N秒模仿多種瀏覽器（useragent）去請求。

8.有些網站根據ip反爬，須要變換ip（代理ip）

9.有些網站對瀏覽器版本有要求，這須要您關注useragent

代碼就不在此放出了，有須要請郵箱：1814076604@qq.com