【爬蟲】【原創】05 華爲官網VMALL手機爬蟲

項目地址：copywang/spiders_collection 實現功能 爬取手機界面的所有手機評論列表 存儲到MONGODB 步驟 獲取首頁的手機列表，並獲取各個手機標題和詳情頁的URL 把第1步獲取的詳情頁URL分別打開，並獲取產品ID 根據產品ID結合URL，組合出評論頁的JSON請求並獲取JSON數據 首頁的JSON數據中包含最大的評論頁數 使用最大評論頁數作爲循環，獲取得到所有頁的評論

>>阅读原文<<