學弟他做爲一個宅男,閒着沒事就喜歡用我教他的Python來爬一些 「資源」 套圖欣賞,我每次都罵他你老是這樣找個女友很差點,他不覺得然,依舊如故。氣的我只好把他寫的東西發出來讓更多的人來譴責他!程序員
咱們先看一下他的效果圖:編程
在這裏仍是要推薦下我本身建的Python開發學習羣:304050799,羣裏都是學Python
開發的,若是你正在學習Python ,小編歡迎你加入,你們都是軟件開發黨,不定
期分享乾貨(只有Python軟件開發相關的),包括我本身整理的一份2018最新的
Python進階資料和高級開發教程,歡迎進階中和進想深刻Python的小夥伴微信
第一步:選取爬取的分類函數
第二步:開始爬取(默認保存C:sex, )學習
1、導包網站
2、定義全局變量url
網址我和諧了,怕帶壞大家。As we know,這些網站的域名一直變可是網站結構通常不會變化,因此往後變化就改動一下url變量就行。spa
3、總共八個核心處理函數3d
一、假裝報頭訪問函數blog
二、菜單,捕獲輸入函數
三、爬蟲調度器函數
四、加載頁面函數
五、加載圖片
六、生成文件夾
默認c:/sex/
八、main
4、程序運行效果
所有是7個分類,使用多進程,保存了多少個分類就自動開多少個進程。輸入目錄對應編號就能夠了,輸入0時則結束輸入,開始爬取
(每次運行前,若是舊的c:/sex/沒刪除,則應先手動刪除)寫的有點倉促,之後有時間會完善這個程序。
來來來,完整代碼:
更多編程分享請關注微信公衆號:程序員大牛!