Python實戰：網絡爬蟲都能幹什麼？

整站下載器:siteSucker

https://blog.csdn.net/l_215851356/article/details/54377582

 

 http://python.jobbole.com/89209/

 

 

 

https://blog.csdn.net/qzc70919700/article/details/73309117/ 

@冰藍 
以前在北京買房，誰想房價開始瘋長，鏈家的房價等數據分析只給了一小部分，遠遠不能知足本身的需求。因而晚上花了幾個小時的時間寫了個爬蟲，爬下了北京全部的小區信息及北京全部小區的全部歷史成交記錄。 

@陳樂羣 
上次發現Android QQ和iOS QQ能夠顯示網絡狀態（2G/WiFi)以後，忽然想到，這樣子好像能夠監視某人的出行和做息規律。簡單的來講，在家裏或者工做的地方，通常是有WiFi的，而後出門了，WiFi就斷掉了。若是監測頻率足夠頻繁，那麼結合必定的推理，能夠大體推測出一我的的行動。若是長期監視，那麼能夠大體推出一我的的做息時間。 

由於只有Android QQ和iOS QQ有這個功能，因此要獲得一我的的網絡狀態比較麻煩。個人作法是跑 Android 模擬器。而後用按鍵精靈模擬，並把網絡狀態截圖，用 curl post到服務器上。服務器會把每次發送的時間、截圖保存下來。由於是用程序截圖的，因此只要網絡狀態是同樣的，那麼截圖就是同樣的，這樣服務器就只會保存2~3張圖片而已，其他的發現是相同的圖片，數據庫作個標記就行了。而後人工作OCR，仍是注意到只有2~3張圖片，因此工做量不多。 

獲得數據後，要作各類統計就能夠本身搞了…… 

@森羴 
在用Python寫網頁爬蟲以前，我只用來寫過了一個駕校約車的腳本，讓當時的我不懼上萬的學車同僚，在約車環節沒有輸在起跑線上。 

接着那段時間，我女友的領導天天下班都會下任務，要收集100條有招聘需求的信息，次日檢查。看到她熬夜百度+複製粘貼到半夜，心疼死了。 

想到了某個牛人說:一切重複性的工做均可以用程序來完成。因而偷偷花了些時間研究了下她常常查的某些同類業務網站的頁面數據，培育了這隻爬蟲。主要技能就是爬這些網站的招聘公司信息及聯繫方式，保存到Excel中。 

在我將戰鬥成果----1000多個客戶資料的Excel表格發給她的時候，先驚喜，後審問，再感慨！依稀記得那天她發了一條朋友圈，內容是：「有個程序員男友，感受好幸福啊！！」成就感走直線啊，都能讓她感到幸福，你說這隻爬蟲是否是作了很酷頗有趣的事情呢？ 

@柳易寒 
我用爬蟲爬了我愛白菜網、超值分享匯、發現值得買、惠惠購物、今日聚超值、留住你、買手黨、沒得比、慢慢買、牛雜網、買個便宜貨、什麼值得買、天上掉餡餅、一分網、折800值得買、值值值等網站的折扣信息。 

這些網站都是提供的一些及時的、性價比較高的商品，不少時候要一個一個網站的看（重度用戶），很容易就會錯過一些很划算的商品。 

@小白 
大二學生一枚，前段時間中期考試，成績一直不出來，又不想每次都登陸，忽然就像用如下所學的東西來乾點事情。 

說幹就幹，花了我將近4個小時完成成績提醒功能。主要是用Python定時抓取數據（定時用Ubuntu的crontab），分析數據是否變化，而後發送短信。其實大部分時間是花在分析學校模擬登錄那一塊了，畢竟要提取各類值，還有url重定向，原本就才學Python，對一些東西也不是很熟悉。 

運行起來以後仍是效果還不錯，10分鐘抓一次，第一時間知道了個人機率論。。。 

@顧旻瑋 
在學校的時候作過一個項目，經過爬微博的文字，分析國內各個地區的用戶收聽蝦米的熱度和最受歡迎的歌手。固然也沒有用什麼很複雜的技術，就是寫基本的TF-IDF。 

作完的時候以爲本身好有想法啊，能實現這麼有意思的東西。後來發現早就有公司作過了。固然別人作的是美國版的。 

因而如今，我就在這家公司工做。 

@晨晨 
朋友交易了一套房子，手機號流落到了各類中介手裏，隔幾天就有中介電話騷擾，不勝其煩。每接一個電話都加黑名單，但仍是有新號碼打過來，so⋯⋯問我咋辦！ 

Android 手機的攔截倒不是問題，但須要房產經紀人的號碼數據庫，就只能去網上爬了！ 

各個房產站的廣州站點加上58什麼的，一個多小時爬了快兩萬個號碼，去重以後還有一萬五千多⋯⋯ 
一時興起，又去爬了深圳、北京和上海，如今都不知道拿這些號碼去幹嗎了⋯⋯ 

PS：貌似活躍房產經紀的數量能反應市場活躍度？ 
PS：我以爲我能夠把全國城市的都爬下來。 

@孟德超 
非計算機系。因此我作的比起其餘人來講要簡單的多，可是卻解決了一些很實用的問題，也讓我認識到各行各業的人都須要學一點編程。 

我一個同窗作數學建模，須要57個城市兩兩之間的距離。他們原本想在百度查，但是57*56/2=1596，也就是說他們光查數據就要百度1596次。恰好我那個時候接觸了一點爬蟲，就找到一個能夠查詢距離的網站，大概寫了幾十行代碼，兩分鐘就解決問題了。 

@餘生夢 
說個簡單實用的例子吧。昨晚忽然發現我在某培訓網站的的會員立刻就要過時了，因而趕忙寫了個爬蟲，把沒看完的教學視頻全下載下來了…… 

@ animalize 
用爬蟲技術作了個我的信息收集系統，部署在卡片式電腦（如樹莓派、Cubieboard）上。