32個Python爬蟲實戰項目，知足你的項目慌

爬蟲項目名稱及簡介

一些項目名稱涉及企業名詞，小編用拼寫代替

一、【WechatSogou】- weixin公衆號爬蟲。基於weixin公衆號爬蟲接口，能夠擴展成其餘搜索引擎的爬蟲，返回結果是列表，每一項是公衆號具體信息字典。

二、【DouBanSpider】- douban讀書爬蟲。能夠爬下豆瓣讀書全部圖書，按評分排名依次存儲，存儲到Excel中，好比篩選評價人數>1000的高分段書籍；可依據不一樣的類別存儲到Excel不一樣的分類 ，採用User Agent假裝爲瀏覽器進行爬取，並加入隨機延時來更好的模仿瀏覽器行爲，避免爬蟲被封。

三、【zhihu_spider】- zhihu爬蟲。爬取zhihu用戶信息以及人際關係，爬蟲框架使用scrapy，爬取的數據存儲使用mongo

四、【bilibili-user】- Bilibili用戶爬蟲。抓取用戶id，暱稱，性別，頭像，等級，經驗值，粉絲數，生日，地址，註冊時間，簽名，等級與經驗值等。抓取以後生成13站用戶數據Excel表格。

 在學習中有迷茫不知如何學習的朋友小編推薦一個學Python的學習q u n 227  -435-  450能夠來了解一塊兒進步一塊兒學習！免費分享視頻資料

五、【SinaSpider】- xinlang微博爬蟲。爬取xinlang微博用戶的我的信息、微博信息、粉絲和關注。代碼獲取xinlang微博Cookie進行登陸，可經過多帳號登陸來防止xinlang的反扒。主要使用 scrapy 爬蟲框架。

六、【knowsecSpider2】-知道創宇爬蟲項目。

七、【aiss-spider】-愛絲APP圖片爬蟲。

八、【SinaSpider】-動態IP解決新浪的反爬蟲機制，快速抓取內容。

九、【csdn-spider】-爬取CSDN上的博客文章。

十、【ProxySpider】-爬取西刺上的代理IP，並驗證代理可用性

十一、【QQSpider】- qq空間爬蟲，包括日誌、說說、我的信息等，一天可抓取 500 萬條數據。

十二、【baidu-music-spider】- baidu_mp3全站爬蟲，使用redis支持斷點續傳。

1三、【tbcrawler】- taobao的爬蟲,能夠根據搜索關鍵詞,物品id來抓去頁面的信息，數據存儲在mongodb。

1四、【stockholm】- 股票（滬深）爬蟲和選股策略測試框架。根據選定的日期範圍抓取全部滬深兩市股票的行情數據。支持使用表達式定義選股策略。支持多線程處理。保存數據到JSON文件、CSV文件。

1五、【BaiduyunSpider】-baiduyun盤爬蟲。

1六、【wooyun_public】-烏雲爬蟲。 烏雲公開漏洞、知識庫爬蟲和搜索。所有公開漏洞的列表和每一個漏洞的文本內容存在mongodb中，大概約2G內容；若是整站爬所有文本和圖片做爲離線查詢，大概須要10G空間、2小時（10M電信帶寬）；爬取所有知識庫，總共約500M空間。漏洞搜索使用了Flask做爲web server，bootstrap做爲前端。

1七、【QunarSpider】-qu哪兒wang爬蟲。 網絡爬蟲之Selenium使用代理登錄：爬取去哪兒網，使用selenium模擬瀏覽器登錄，獲取翻頁操做。代理能夠存入一個文件，程序讀取並使用。支持多進程抓取。

1八、【findtrip】- 飛機票爬蟲（qunaer+xiecheng網）。Findtrip是一個基於Scrapy的機票爬蟲，目前整合了國內兩大機票網站（qunaer+xiecheng網）。

1九、【163spider】 - 基於requests、MySQLdb、torndb的網易客戶端內容爬蟲

20、【doubanspiders】- douban電影、書籍、小組、相冊、東西等爬蟲集

2一、【distribute_crawler】- 小說下載分佈式爬蟲。使用scrapy,Redis, MongoDB,graphite實現的一個分佈式網絡爬蟲,底層存儲mongodb集羣,分佈式使用redis實現,爬蟲狀態顯示使用graphite實現，主要針對一個小說站點。

2二、【CnkiSpider】- zhi-wang爬蟲。設置檢索條件後，執行src/CnkiSpider.py抓取數據，抓取數據存儲在/data目錄下，每一個數據文件的第一行爲字段名稱。

2三、【LianJiaSpider】- 鏈家網爬蟲。爬取beijing地區鏈家歷年二手房成交記錄。涵蓋鏈家爬蟲一文的所有代碼，包括鏈家模擬登陸代碼。

2四、【scrapy_jingdong】-jingdong爬蟲。基於scrapy的jingdong網站爬蟲，保存格式爲csv。

2五、【QQ-Groups-Spider】- qq 羣爬蟲。批量抓取 qq 羣信息，包括羣名稱、羣號、羣人數、羣主、羣簡介等內容，最終生成 XLS(X) / CSV 結果文件

2六、【Spider】-社交數據爬蟲。支持weibo,zhiohu,豆瓣。

2七、【proxy pool】-Python爬蟲代理IP池(proxy pool)。

2八、【music-163】-爬取wang-yi雲音樂全部歌曲的評論。

2九、【jandan_spider】-爬取煎蛋妹紙圖片。

30、【CnblogsSpider】-cnblogs列表頁爬蟲。

3一、【spider_smooc】-爬取mu-ke網視頻。

3二、【CnkiSpider】-Chinese知網爬蟲