Python利用Phantomjs抓取渲染JS後的網頁

最近須要爬取某網站，無奈頁面都是JS渲染後生成的，普通的爬蟲框架搞不定，因而想到用Phantomjs搭一個代理。

Python調用Phantomjs貌似沒有現成的第三方庫（若是有，請告知小2），漫步了一圈，發現只有pyspider提供了現成的方案。

簡單試用了一下，感受pyspider更像一個爲新手打造的爬蟲工具，比如一個老媽子，有時無微不至，有時喋喋不休。
輕巧的小工具應該更受人喜好，我也懷着一點私心，能夠帶着我最愛的BeautifulSoup一起用，而不用再學PyQuery（pyspider用來解析HTML），更不用忍受瀏覽器寫Python的糟糕體驗（偷笑）。

因此花了一個下午的時間，把pyspider當中實現Phantomjs代理的部分拆了出來，獨立成一個小的爬蟲模塊，但願你們會喜歡（感謝binux！）。

準備工做

• 你固然要有Phantomjs，廢話！（Linux下最好用supervisord守護，必須保持抓取的時候Phantomjs一直處於開啓狀態）
• 用項目路徑下的phantomjs_fetcher.js啓動：phantomjs phantomjs_fetcher.js [port]
• 安裝tornado依賴（使用了tornado的httpclient模塊）

調用是超級簡單的

pythonfrom tornado_fetcher import Fetcher

# 建立一個爬蟲
>>> fetcher=Fetcher(
    user_agent='phantomjs', # 模擬瀏覽器的User-Agent
    phantomjs_proxy='http://localhost:12306', # phantomjs的地址
    poolsize=10, # 最大的httpclient數量
    async=False # 同步仍是異步
    )
# 開始鏈接Phantomjs的代理，能夠渲染JS！
>>> fetcher.phantomjs_fetch(url)
# 渲染成功後執行額外的JS腳本（注意用function包起來！）
>>> fetcher.phantomjs_fetch(url, js_script='function(){setTimeout("window.scrollTo(0,100000)}", 1000)')

老規矩，代碼在小2的Github了，歡迎指正：PhantomjsFetcher

來自：建造者說