爬蟲隨筆 五

xpath的包含 //div[contains(@class,'i')] 實現爬蟲的套路 準備url 準備start_url url地址規律不明顯，總數不確定 通過代碼提取下一頁的url xpath 尋找url地址，部分參數在當前的響應中（比如，當前頁碼數和總的頁碼數在當前的響應中） 準備url_list 頁碼總數明確 url地址規律明顯 發送請求，獲取響應 添加隨機的User-Agent,反反爬

>>阅读原文<<