Java網絡爬蟲（十四）--多線程爬蟲（抓取淘寶商品詳情頁URL）

源碼地址：多線程爬蟲–抓取淘寶商品詳情頁URLhtml 項目地址中包含了一份README，所以對於項目的介紹省去部份內容。這篇博客，主要講述項目的構建思路以及實現細節。java 項目概述及成果 首先將本項目使用到技術羅列出來：git MySQL數據庫進行數據持久化及對宕機狀況的發生作簡單的處理 Redis數據庫作IP代理池及部分已抓取任務的緩存 自制IP代理池 使用多線程執行任務（同步塊，讀寫鎖，

>>阅读原文<<