有哪些網站用爬蟲爬取能獲得頗有價值的數據(轉)

想作數據，首先從獲取數據開始。可是對於須要獲取什麼數據，數據能夠幹什麼，不少人仍是一頭霧水，知乎達人林駿翔給出了參考。本文來林駿翔在知乎的回答，已獲受權，轉載請聯繫林駿翔。

一大波數據來襲!題主問了有什麼網站，能用來作什麼。我給出幾個API網站吧，作APP用的可能比較多，不過也能夠用在平常生活中。

1、生活服務

手機話費充值。

天氣查詢。

快遞查詢。

健康食譜。

查醫院。

水電煤繳費。

電影大全。

謎語、歇後語、腦筋急轉彎。

音樂搜索。

健康知識。

百度糯米、團購等信息。

彩票開獎

以上接口都來自網站：http://www.apix.cn/services/category

細心的人會發現，這些功能簡直是遍地都是啊，支付寶、微信什麼的一大堆，哪用那麼麻煩!是的，但我相信這些可能爲一些不太瞭解相關信息的人提供了幫助。不過，雖然這些功能不少APP都有，若是本身有空閒時間又懂得編程，不喜歡別人的UI設計，本身作一作也是挺好玩的。好比：生活枯燥了，把這些謎語歇後語等根據我的喜愛定時推送到本身的手機，放鬆身心;把一些健康小知識在空閒時間推送給本身，提醒本身……

國內相似的網站還有：

API數據接口_開發者數據定製https://www.juhe.cn/

API Store_爲開發者提供最全面的API服務http://apistore.baidu.com/

API數據接口_免費數據調用-91查|91cha.comhttp://www.91cha.com/

除此以外還有一些門戶網站提供了一些API接口，好比豆瓣、新浪、百度等等。

2、金融數據

1.股票

①新浪財經

最多人用的就是新浪財經了，由於它是免費的，而且使用起來也不難。如下是網上找的教程：獲取歷史和實時股票數據接口(http://www.cnblogs.com/seacryfly/articles/stock.html)

②東方財富網

網站提供了大量信息，也是基本面投資者的好去處。能夠查看財務指標或者根據財務指標選股(如淨資產收益率)： >

這些都是很好的投資參考，固然還有其它功能有對應的API，能夠本身分析一下。

③中財網

http://data.cfi.cn/cfidata.aspx提供各類產品的數據

(國內不少功能相似網站，如和訊、網易財經、雪球等等，具體的我沒有一一試驗就不放上來了，各位能夠本身去試試，下同。)

2.大宗商品

①黃金頭條——用資訊幫你賺錢http://www.goldtoutiao.com/

這裏提供了各類大宗商品的行情，也能夠分析獲取。包括技術分析方面。

②固然還有外國網站：http://www.investing.com/

3.美股等綜合類(其實新浪財經和東方財富等也算是國內綜合的了，就不一一列舉了)

①Wind資訊。不少機構用的都是這裏的數據，固然普通我的是拿不到的，不過若是你是財經院校的學生，他們會提供免費的數據。詳見官網。

②MarketData Feed and API

(http://www.xignite.com/)外國網站，提供了大量數據，付費。有試用期。

③Quandl Financial and Economic Data

(https://www.quandl.com/)同上。部分免費。

④96Stocks APIs: Bloomberg, NASDAQ and E*TRADE

外國網站整合的96個股票API合集，能夠看看。

⑤雅虎財經http://www.finance.yahoo.com/

香港版https://hk.finance.yahoo.com/

下面提到的Quandl網站有一個他們本身的Python庫，叫Quandl，惋惜也是收費的。

pip install Quandl

http://tushare.org/fundamental.html#id4 國內好心人作的開源財經數據接口(以爲好的能夠捐助一下)。這裏幾乎能夠獲取到A股的全部信息了，還包括一些經濟數據。重點是他不只免費，還提供了一個Python庫tushare。

3、其它

撇去上面的API不說，若是單單爬取網頁上的內容下來，那就太多能夠爬的了。

如：1.爬取網站上的圖片。包括貼吧、知乎、Tumblr、輪子哥、XXX(你懂的)。

2.爬取影評、電影資訊、圖書等等。好比豆瓣電影。輕輕鬆鬆掌握好書好電影。

3.爬取社交網絡。好比新浪微博，Twitter。(Twitter提供了API，能夠提交關鍵字等信息爬取搜索結果中的每一條內容。)爬完能夠對整個社交網絡羣體作個分析，情緒、做息、區域……

4.一些網站有你喜歡的文章或者帖子，可是他們沒有APP或者是APP作得不友好，你能夠直接爬取頁面信息推送到手機上。

5.作一個微信公衆號。有了上面那麼多數據，還怕公衆號沒東西?生活服務、選股器、行情分析、文章推送等等等。