分佈式網絡爬蟲實例——獲取靜態數據和動態數據

前言 剛剛介紹完基於PyHusky的分佈式爬蟲原理及實現，讓咱們具有了設計分佈式網絡爬蟲方便地調動計算資源來實現高效率的數據獲取能力。能夠說，有了前面的基礎，已經可以解決互聯網上的絕大部分網站的數據獲取問題。下面我將以正常模式爬取某地產網站上相關的新房、二手房和租房信息；而後使用selenium來抓取動態數據來分別介紹兩種類型網站的分佈式網絡爬蟲的實現：html 實例 因爲前面已經設計好了實現分佈

>>阅读原文<<