相關收集數據途徑

1公開的數據庫
國家數據

http://data.stats.gov.cn/index.htm

 

數據來源於中國國家統計局，包含了我國經濟民生等多個方面的數據，而且在月度、季度、年度都有覆蓋，較爲全面和權威，對於社會科學的研究不要太有幫助。最關鍵的是，網站簡潔美觀，還有專門的可視化讀物。－

CEIC －

 

http://www.ceicdata.com/zh-hans

 

最完整的一套超過128個國家的經濟數據，可以精確查找GDP, CPI, 進口，出口，外資直接投資，零售，銷售，以及國際利率等深度數據。其中的「中國經濟數據庫」收編了300,000多條時間序列數據，數據內容涵蓋宏觀經濟數據、行業經濟數據和地區經濟數據。

－ wind（萬得）－

 

http://www.wind.com.cn/

 

萬得被譽爲中國的Bloomberg，在金融業有着全面的數據覆蓋，金融數據的類目更新很是快，聽說很受國內的商業分析者和投資人的親睞。

－ 搜數網 －

 

http://www.soshoo.com/

已加載到搜數網站的統計資料達到7,874本,涵蓋1,761,009張統計表格和364,580,479個統計數據，聚集了中國資訊行自92年以來收集的全部統計和調查數據，並提供多樣化的搜索功能。

－ 中國統計信息網 －

 

http://www.tjcn.org/

 
國家統計局的官方網站，聚集了海量的全國各級政府各年度的國民經濟和社會發展統計信息，創建了以統計公報爲主，統計年鑑、階段發展數據、統計分析、經濟新聞、主要統計指標排行等。

－ 亞馬遜aws －

 

http://aws.amazon.com/cn/datasets/

 

來自亞馬遜的跨科學雲數據平臺，包含化學、生物、經濟等多個領域的數據集。
－ figshare －

 

https://figshare.com/

 " L' D2 p( W2 [

研究成果共享平臺，在這裏你會發現來自世界的大牛們的研究成果分享，同時get其中的研究數據，內容頗有啓發性，網站頗具設計感。

－ github －

https://github.com/caesar

若是以爲前面的數據源還不夠，github上的大神已經爲你們整理好了一個很是全面的數據獲取渠道，包含各個細分領域的數據庫資源，天然科學和社會科學的覆蓋都很全面，簡直是作研究和數據分析的利器。隨便上幾個圖，滿滿的都是資源啊！ 

02數據交易平臺

－ 優易數據 －

 

http://www.youedata.com/

由國家信息中心發起，擁有國家級信息資源的數據平臺，國內領先的數據交易平臺。平臺有B2B、B2C兩種交易模式，包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的數據資源。

數據堂 －

http://www.datatang.com/

 + A# c' X' H: `: K

專一於互聯網綜合數據交易，提供數據交易、處理和數據API服務，包含語音識別、醫療健康、交通地理、電子商務、社交網絡、圖像識別等方面的數據。
03網絡指數

－ 百度指數 －

http://index.baidu.com/

 

 

你們都很熟悉的指數查詢平臺，能夠根據指數的變化查看某個主題在各個時間段受關注的狀況，進行趨勢分析、輿情預測有很好的指導做用。除了關注趨勢以外，還有需求分析、人羣畫像等精準分析的工具，對於市場調研來講具備很好的參考意義。一樣的另外兩個搜索引擎搜狗、360也有相似的產品，均可以做爲參考。


－ 阿里指數 －

 

https://alizs.taobao.com/

 

國內權威的商品交易分析工具，能夠按地域、按行業查看商品搜索和交易數據，基於淘寶、天貓和1688平臺的交易數據基本可以看出國內商品交易的概況，對於趨勢分析、行業觀察意義不小。

－ 艾瑞諮詢 －

http://www.iresearch.com.cn/

艾瑞做爲老牌的互聯網研究機構，在數據的沉澱和數據分析上都有得天獨厚的優點，在互聯網的趨勢和行業發展數據分析上面比較權威，艾瑞的互聯網分析報告能夠說是互聯網研究的必讀刊物。

－ 友盟指數 －

 

 

友盟在移動互聯網應用數據統計和分析具備較爲全面的統計和分析，對於研究移動端產品、作市場調研、用戶行爲分析頗有幫助。除了友盟指數，友盟的互聯網報告一樣是瞭解互聯網趨勢的優秀讀物。

－ 愛奇藝指數 －

 

http://index.iqiyi.com/

 

愛奇藝指數是專門針對視頻的播放行爲、趨勢的分析平臺，對於互聯網視頻的播放有着全面的統計和分析，涉及到播放趨勢、播放設備、用戶畫像、地域分佈、等多個方面。因爲愛奇藝龐大的用戶基數，該指數基本能夠說明實際狀況。


－ 貓眼專業版－

 

http://piaofang.maoyan.com/

電影票房統計分析平臺，貓眼專業版有實時的票房統計，影片的排盤狀況、上座率和影院數據，對於當前電影的分析是必不可少的。
04網絡採集器

網絡採集器是經過軟件的形式實現簡單快捷地採集網絡上分散的內容，具備很好的內容收集做用，並且不須要技術成本，被不少用戶做爲初級的採集工具。

－ 火車採集器 －

 

http://www.locoy.com/

 

一款專業的互聯網數據抓取、處理、分析，挖掘軟件，能夠靈活迅速地抓取網頁上散亂分佈的數據信息，並經過一系列的分析處理，準確挖掘出所需數據，最經常使用的就是採集某些網站的文字、圖片、數據等在線資源。接口比較齊全，支持的擴展比較好用，懂代碼的話，可使用PHP或C#開發任意功能的擴展。

－ 八爪魚 －

 

http://www.bazhuayu.com/

 
簡單實用的採集器，功能齊全，操做簡單，不用寫規則。特有的雲採集，關機也能夠在雲服務器上運行採集任務。


－ 集搜客 －

 

http://www.   gooseeker    .com/   （中間無空格

一款簡單易用的網頁信息抓取軟件,可以抓取網頁文字、圖表、超連接等多種網頁元素，提供好用的網頁抓取軟件、數據挖掘攻略、行業資訊和前沿科技等。

05網絡爬蟲

             做爲極客們最喜歡的數據收集方式，爬蟲高度的自由性、自主性都使其成爲數據挖掘的必備技能，固然精通python等語言是必要前提。利用爬蟲能夠作不少有意思的事情，固然也能夠獲取一些從其它渠道獲取不到的數據資源，更重要的是幫你打開尋找和蒐集數據的思路。

－ 利用爬蟲爬取網絡圖片 －

 

爬取的圖像素材你看到某個網站上的圖片剛好是你須要的，可是量大單個下載太麻煩，那麼利用爬蟲你能夠快速地進行抓取，並能夠根據標籤、特徵、顏色等信息進行分類儲存。今後不缺設計素材，不缺美女圖片，連鬥圖都多了幾分自信。 

－ 利用爬蟲爬取高質量資源 －爬取的音樂資源

咱們老是想快速地去搜集高質量的網絡資源，可是人工查找比對實在太麻煩，利用爬蟲你就能夠輕鬆解決。好比爬取知乎點贊最多的文章列表，爬取網易雲音樂評論最多的音樂，爬取豆瓣網高評分的電影或圖書……總之，你能夠今後拒絕平庸。 

－ 利用爬蟲獲取輿情數據 －



爬取的某招聘網站職位信息



好比你能夠批量爬取社交平臺的數據資源，能夠爬取網站的交易數據，爬取招聘網站的職位信息等，能夠用於個性化的分析研究。總之，爬蟲是很是強大的，甚至有人說天下沒有不能爬的網站，於是爬取數據也成爲了不少極客的樂趣。開發出高效的爬蟲工具能夠幫助咱們節省不少時間，能夠徹底按照本身的需求來訂製，想一想這個世界就太美好。

06小工具－

Web Plot Digitizer －

 

http://arohatgi.info/WebPlotDigitizer/app/

 

好比咱們在查看期刊文獻的時候看到一張成型的圖表，但其自己數據是缺失的，你想得到這個圖表的相關數據怎麼辦？有了這個小工具就很是easy了。直接上傳咱們須要得到數據的圖表，以下：


而後咱們就會得到以下的數據反饋，感受指揮若定有木有，對於一些不須要十分精確的分析研究足夠使用。


 



固然並不推薦用這個做爲量化分析的依賴，對於定性的分析，作ppt級的數據統計分析就足夠了。

－ you-get －

 

https://you-get.org/</a>

 

這是一個程序員基於python 3開發的項目，已經在github上面開源，支持64個網站，包括優酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網站都有! 還有一個黑科技的地方，即便是名單上沒有的網站，當你輸入連接，程序也會猜想你想要下載什麼，而後幫你下載。

下載優酷視頻

 批量下載圖片固然you-get要在python3環境下進行安裝，用pip安裝好後，在終端輸入「you get＋你想下載資源的連接」就能夠等着收藏資源了。