當電商網站的產品有不同的sku對應不同的價格時，如何爬取呢？

小白一枚，最近學習scrapy爬蟲，終於能夠通過網站的驗證碼環節，本以爲一切進行順利。當我在一個網站裏面調研頁面結構的時候，我發現如下圖： 首先改變蝦米那的段數，規格，效期價格都會變。 改變段數（pre段，1段…）的時候商品url會變，可是改變規格的時候和效期的時候就不會改變。 這個時候我就迷惑了，按理來說我直接爬取的話應該是所有的規格段數都會有，但是價格並不是對應的。我是一個小白，現在唯一能想到

>>阅读原文<<