斷網大法發現隱藏網頁上請求

在使用python進行網站數據爬取時，有時會遇到須要爬取圖表數據，這些圖表數據可能不是經過http請求返回，而是經過WebSockets協議返回數據。

須要爬取的圖表數據

在Chrome瀏覽器中按F12能夠觀察到：

在XHR 頁面中沒有請求

經過WS觀察

雖然經過WS能夠看到有請求發出，但有些參數並非很好拼出來。並且用python也不是很好編寫Socket的代碼。

• 我無心間發現能夠經過斷開網絡，而後操做頁面，會在XHR頁面中出現紅色的請求：
  

經過python請求這些連接，返回的數據跟Sockets中請求返回的數據是同樣的！