在python使用selenium獲取動態網頁信息並用BeautifulSoup進行解析--動態網頁爬蟲

爬蟲抓取數據時有些數據是動態數據，例如是用js動態加載的，使用普通的urllib2 抓取數據是找不到相關數據的，這是爬蟲初學者在使用的過程當中，最容易發生的狀況，明明在瀏覽器裏有相應的信息，可是在python抓取的網頁中缺乏了對應的信息，這一般是網頁使用的是js異步加載數據，在動態顯示出來。一種處理方式是找出相應的js接口，可是有時這是很是可貴，由於還的分析js的調用參數，而有些參數是有加密的，還

>>阅读原文<<