去哪兒網代理網站機票價格採集方案

 

原文做者：西安鯤之鵬

原文連接：http://http://www.site-digger.com/html/articles/20120509/33.html

 去哪兒網的代理網站有本身獨立的機票搜索接口，例如http://xyx.trade.qunar.com/site/。

 

搜索結果使用Ajax動態加載，服務端返回的數據是JSON格式的。

難點在於返回的價格數據是加密的，返回價格與真實的價格之間有很大的誤差。在客戶端使用JS進行解密，顯示到頁面的價格是正確的。因爲解密算法很是複雜，實現難度很大。

鯤鵬數據技術人員經過Webkit模擬瀏覽器進行採集，繞過了該加密措施，成功採集到機票價格數據。

 

程序截圖以下所示：

 

 

採集結果截圖以下所示：

 

 

特別說明：該文章爲西安鯤之鵬的原創文章 ，你除了能夠發表評論外，還能夠轉載到你的網站或博客，可是請保留源地址，謝謝!!（尊重他人勞動，你我共同努力）