爬蟲之scrapy-splash——scrapy+js渲染容器

簡介 scrapy做爲爬蟲利器，我就很少說了。 常見的結合js的爬蟲，通常用來扒取網頁動態內容，就是經過操做js獲取渲染的內容。 如今大部分網站都是ajax+json獲取數據的方式，因此，你們習慣性一上來爬蟲，第一件事就是抓包，而後找規律抓數據。固然有時候，接口加密算法很複雜，短期內很難破解，經過js抓取內容相對容易，這時候結合js的爬蟲就能比較直接地達到目的，固然數據抓取效率不如直接抓接口來得快

>>阅读原文<<