（轉載）深度學習數據集

本文轉載自：http://blog.csdn.net/qq_26898461/article/details/50593328
海量數據（又稱大數據）已經成爲各大互聯網企業面臨的最大問題，如何處理海量數據，提供更好的解決方案，是目前至關熱門的一個話題。相似MapReduce、 Hadoop等架構的廣泛推廣，你們都在構建本身的大數據處理，大數據分析平臺。

相應之下，目前對於海量數據處理人才的需求也在不斷增多，此類人才可謂煊赫一時！愈來愈多的開發者把目光轉移到海量數據的處理上。可是不是全部人都能真正接觸到，或者有機會去處理海量數據的，因此就須要一些公開的海量數據集來研究。

在Quora上有人就問到，如何獲取海量數據集。此問題獲得了不少人的關注。具體能夠看看回答，數據集的種類多種多樣，有化學分析，基因遺傳等等，從中你確定能獲得本身想要個數據集。
Where can I get large datasets open to the public?

先來個不能錯過的數據集網站（深度學習者的福音）：
http://deeplearning.net/datasets/**

首先說說幾個收集數據集的網站：
一、Public Data Sets on Amazon Web Services (AWS)
http://aws.amazon.com/datasets
Amazon從2008年開始就爲開發者提供幾十TB的開發數據。

二、Yahoo! Webscope
http://webscope.sandbox.yahoo.com/index.php

三、Konect is a collection of network datasets
http://konect.uni-koblenz.de/

四、Stanford Large Network Dataset Collection
http://snap.stanford.edu/data/index.html

再就是說說幾個跟互聯網有關的數據集：
一、Dataset for 「Statistics and Social Network of YouTube Videos」
http://netsg.cs.sfu.ca/youtubedata/

二、1998 World Cup Web Site Access Logs
http://ita.ee.lbl.gov/html/contrib/WorldCup.html
這個是1998年世界盃期間的數據集。從1998/04/26 到 1998/07/26 的92天中，發生了 1,352,804,107次請求。

三、Page view statistics for Wikimedia projects
http://dammit.lt/wikistats/

四、AOL Search Query Logs - RP
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs

五、livedoor gourmet
http://blog.livedoor.jp/techblog/archives/65836960.html

海量圖像數據集：
一、ImageNet
http://www.image-net.org/
包含1400萬的圖像。

二、Tiny Images Dataset
http://horatio.cs.nyu.edu/mit/tiny/data/index.html
包含8000萬的32x32圖像。

三、 MirFlickr1M
http://press.liacs.nl/mirflickr/
Flickr中的100萬的圖像集。

四、 CoPhIR
http://cophir.isti.cnr.it/whatis.html
Flickr中的1億600萬的圖像

五、SBU captioned photo dataset
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/
Flickr中的100萬的圖像集。

六、Large-Scale Image Annotation using Visual Synset(ICCV 2011)
http://cpl.cc.gatech.edu/projects/VisualSynset/
包含2億圖像

七、NUS-WIDE
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm
Flickr中的27萬的圖像集。

八、SUN dataset
http://people.csail.mit.edu/jxiao/SUN/
包含13萬的圖像

九、MSRA-MM
http://research.microsoft.com/en-us/projects/msrammdata/
包含100萬的圖像，23000視頻

十、TRECVID
http://trecvid.nist.gov/

截止目前好像尚未國內的企業或者組織開放本身的數據集。但願也能有企業開發本身的數據集給研究人員使用，從而推進海量數據處理在國內的發展！

2014/07/07 雅虎發佈超大Flickr數據集 1億的圖片+視頻
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for

100多個有趣的數據集
http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics