Python爬蟲(urllib.request和BeautifulSoup)

學習urllib.request和beautifulsoup,並從dribbble和behance上爬取了一些圖片,記錄一下 一、urllib.request 1. url的構造 構造請求的url遇到的主要問題是如何翻頁的問題,dribbble網站是下拉到底自動加載下一頁,地址欄的url沒有變化,如下: 但是通過檢查,我們可以發現request url裏關於page的字段,如下: 因此,我們構造如
相關文章
相關標籤/搜索