Scrapy簡明教程(五)——命令行傳參爬取淘寶商品數據

      首先我們先來看一下淘寶搜索商品的頁面，這裏以糖炒板栗爲例:   可以看到搜索到了很多糖炒板栗，顯示有100頁，但真正搜索到的商品超過了100頁，給用戶只顯示前100頁，後面編寫的爬蟲只爬取前50頁，url構造這裏就不講了，之前的博客已經講過了，需要更多可以自己更改頁數，然後我們檢查網頁元素，找到商品鏈接並複製，然後在網頁源代碼裏查找，結果如下:   發現並沒有找到，說明該數據是動態加載

>>阅读原文<<