Scrapy筆記 4 ---- Scrapy + selenium

在第一個筆記中，我們在 https://news.qq.com/ 中看到了，進入瀏覽器中，按住F12 之後出現的網頁結構和網頁源碼並不一致，這樣會導致我們的網頁內容無法抓取。原因是我們看到的網頁是由JS 動態生成，解決這個的方法有很多，其中谷歌公司的 selenium 可以很輕鬆的幫助我們獲取到想要的數據。這裏我們重點說一下，如何把selenium 嵌入 scrapy , 從而使我們的功能更加強大

>>阅读原文<<