昨天收到公衆號粉絲的爬蟲需求:css
抓取平臺:天貓或者淘寶 爬取對象:某個商品的各分類的價格和庫存數
所以花費兩天時間抓取完成,基於python3
抓取, flask
可視化頁面查看,目前支持網頁可視化查看:html
實時監控競品銷量:python
首先在個人 github
上面下載該項目的代碼,項目地址爲:git
tbtmStoregithub
代碼的結構路徑爲:flask
---static
---bootstrap.min.css
---templates
---htmlWeb.pybootstrap
在當前目錄下運行代碼瀏覽器
python3 htmlWeb.py
在瀏覽器裏面打開網址:127.0.0.1:5000 顯示以下頁面:url
只要在輸入框輸入商品的 id
便可code
id
的來源爲搜索淘寶的商品關鍵詞後,點擊進入詳情頁,能夠在 url
中看到所須要的商品的 id
。例如搜索關鍵詞 女裝,點擊其中一個進入頁面:
新頁面的 url
中的 id
即爲商品惟一的 id
:
即 url
中的 id=586378509246
若是須要基於關鍵字搜索商品價格等,能夠查看以下項目:
爬蟲代碼不知道怎麼寫 關注公衆號讓做者幫你解決