爬蟲——記一次破解前端加密詳細過程

摘要:工做差很少快一年了,應工做須要爬過各類各樣的航空公司網站,大到B2B平臺,小到東南亞某某航空官網,從最初使用webdriver+selenium爬蟲到如今利用http請求解析html,經歷過各類各樣的問題,webdriver+selenium這種辦法雖然萬能,並且能夠用JS寫解析腳本方便調試,可是用久了才發現這玩意不論是效率仍是穩定性都很是差,放到服務器上動不動就掛掉,兩三天就須要重啓一次。
相關文章
相關標籤/搜索