Python3 + BeautifulSoup 爬取Steam熱銷商品數據

這次用了BeautifulSoup庫來爬取Steam的熱銷商品,BeautifulSoup更側重的是從頁面的結構解析, 根據標籤元素等來爬取數據,這次遇到兩個問題: 1.Steam熱銷商品列表經常有重複的,所以我建了一個列表,把爬到的數據存進去,每次爬的時候都校驗跟列表裏有沒有重複,有的話就跳過,防止重複爬取。 2.我需要同時遍歷兩個表,找到了zip()函數解決方案,下面簡單介紹一下。 zip()
相關文章
相關標籤/搜索