Python多線程爬取鬥圖表情包

1、使用技術: Lxml:解析網頁 Requests庫:獲取網頁信息 re:替換非法字符 os:處理文件名 Queue:實現安全的多線程 urllib :下載獲取的圖片 2、設計思路: 這裏採用生產者消費者模式來設計多線程,消費者負責解析網頁並獲得一個網頁上全部圖片的url,而消費者則負責下載圖片到本地即進行IO操做,在這裏設計了5個消費者以及五個生產者html 3、Demo: import re
相關文章
相關標籤/搜索