聊聊phantomjs的優化措施

序

本文主要小結一下phantomjs的優化措施

phantomjs

phantomjs至關於一個後臺瀏覽器，有點內嵌jetty的味道，一般在自動化測試或者爬蟲領域用。

優化點

• 池化技術,避免重複啓動

對於其餘語言進行進程間調用的話，頻繁地調用進程進行上下文切換以及頻繁建立對象及其消耗時間，所以能夠進行鏈接池優化處理

• 設置about:blank,避免狀態沒有清除的bug

在引入鏈接池以後，處理很差的話，難以免的帶來不少狀態的錯亂，相似java的threadlocal，在tomcat鏈接池中使用的話，若是上一個線程使用完沒有清除掉，則下個複用該線程的請求則會讀到髒數據。

phantomjs貌似沒有reset的接口，這裏可使用一個黑魔法，在每次get的時候，先打開一個blank，而後再進行請求。

• 開啓disk-cache

若是對同一個頁面訪問比較頻繁，則開啓cache緩存一些靜態資源，避免重複請求

• 拋棄selenium,直接使用api

若是你是使用selenium的封裝來調用的話，那麼能夠考慮直接使用原始api，更直接一些。

• 構建分佈式rest api服務

請求網絡資源的處理，多是很是耗時的，也及其不穩定，所以吞吐量確定不高，高併發的時候很容易出現瓶頸，必要的時候進行分佈式部署。

小結

除了phantomjs，chrome以及firefox也推出相似的headless版本，所以也多了幾個選擇，有待進行嘗試。

doc

• 【phantomjs系列】Phantomjs正確打開方式
• 【phantomjs系列】Phantomjs Api介紹
• 【phantomjs系列】Selenium+Phantomjs性能優化
• 【phantomjs系列】Selenium+Phantomjs爬過的那些坑
• Selenium+PhantomJS的爬蟲那些事兒