python之Selenium+pyquery爬取有大量反爬蟲的天眼查

天眼查：一個還有大量公司的信息的網站。 因此反爬程度是至關高的，首先直接用requests.get(url)來獲取頁面源代碼，你會發現，明明顯示在頁面上的公司的一些數據都不在，他是利用其它的js的方法表達出來的，由於這個網站有專門的反爬蟲人員，能夠在一些招聘網上看到工資還能夠15k-30k 因此說用這些方法根本就不爬到什麼 那麼只有使出咱們的殺手鐗，selenium，他的好處在於能夠模擬瀏覽器操做

>>阅读原文<<