手把手教你實現window圖片爬蟲(三)

第三篇:性能優化及踩坑   優化工作     1.採用基於線程池管理的定時任務ScheduledThreadPoolExecutor     2.所有的異步操作統一走線程池管理     3.監控信息查詢優化(降低複雜度)     4.增加失敗重試機制     5.網頁抓取以及圖片下載多線程異步進行,並嚴格控制併發數量(界面配置爬取速度)     6.選擇速度最快的jackson序列化以及反序列化
相關文章
相關標籤/搜索