AI研發者福利！谷歌推出數據集搜索專用引擎Dataset Search

選自nature，做者：Davide Castelvecchi，機器之心編譯。

9 月 5 日，谷歌發佈了一個幫助研究者查找在線數據的免費搜索引擎 Dataset Search。谷歌表示，該引擎面向「科學家、數據記者、數據極客等人羣」。該引擎有助於促進數據的開放利用和重複利用。

Dataset Search 測試版地址：toolbox.google.com/datasetsear…

Dataset Search 與谷歌的其餘專用搜索引擎（如用於搜索新聞和圖像的引擎，以及 Google Scholar 和 Google Books）同樣能夠無償使用，它基於擁有者對文件和數據庫的分類方式來查找文件和數據集。該引擎讀取文件內容的方式與搜索引擎搜索網頁的方式不一樣。有專家表示，該引擎填補了這一領域的空白，能夠極大地促進開放數據運動的發展，這一運動旨在實現數據的開放利用和重複利用。

政府機構、科學出版社、研究機構甚至是我的研究者在全世界維護着成千上萬的開源數據資源庫，包含了數百萬個數據集。

但那些想知道哪些類型的數據可用，或者那些但願定位已經存在的數據的研究者，一般依賴於口耳相傳的信息。來自加州山景城的 Google AI 計算機科學家 Natasha Noy 說。

對於那些處於研究生涯早期階段且尚未創建專業聯繫網絡的研究者而言，這個問題尤爲嚴重，Noy 說。這對於那些作交叉學科研究的人而言也是個嚴重的缺陷。例如，流行病學家須要訪問氣候數據，其可能與某種病毒的傳播相關。

https://v.qq.com/x/page/c134714yekq.html

分類搜索

2017 年 1 月，Noy 及其谷歌同事 Dan Brickley 在一篇谷歌博客（ai.googleblog.com/2017/01/fac…）中首次介紹瞭解決該問題的策略。

典型的搜索引擎分兩個階段運行。第一個階段是經過在互聯網上持續搜索來索引可用網頁。第二個階段是對索引網頁進行排序，以使用戶輸入搜索詞時，搜索引擎可以按相關度排序來提供搜索結果。

Noy 和 Brickley 寫道，爲了幫助搜索引擎索引現有數據集，擁有數據集的人應該使用一個叫做 Schema.org 的標準化詞彙表來「標記」數據集，Schema.org 是谷歌和另外三個搜索引擎巨頭（微軟、雅虎和 Yandex）一塊兒發起的項目，由 Brickley 管理。谷歌團隊還開發了一種特殊算法來對搜索結果中的數據集進行排序。

因爲谷歌在網頁搜索中的主導地位，谷歌正在快速轉入數據生態系統的消息刺激主要搜索引擎巨頭進入該戰場，對元數據進行標準化處理，倫敦數據共享公司 Figshare CEO Mark Hahnel 說道。（Figshare 由霍爾茨布林克出版集團管理，該集團也對 Nature 的出版公司持有大量股份。）

「到 11 月，咱們接觸的全部大學的數據都已經標記完成。我認爲這對學界的開放數據而言是一項重要變革。」Hahnel 說道。

Hahnel 認爲，融資機構有時強制要求研究數據必須可獲取，而只要信息可以高效獲取，他們就能達到其最終目的。「這使得投資機構一直嘗試作的事合法化。」

谷歌爲用戶提供了可以同時搜索多個存儲區的單個界面，但願藉此改變用戶發佈和運用數據的方式。谷歌表示這個項目可以帶來下列好處：

• 造成數據共享生態系統，鼓勵數據發佈者依照最佳作法來存儲和發佈數據；

• 爲科學家提供相應平臺，方便大衆引用他們建立的數據集，展示他們的研究成果所帶來的影響力。

搜索試驗

目前谷歌已經正式對外測試開源數據集搜索引擎，用戶在鍵入數據集名稱或關鍵信息後，該搜索引擎會給出一系列數據源列表，每個數據源都會有簡要的介紹，例如更新日期、做者、版權和內容說明等。值得注意的是，除了數據集資源，該搜索引擎還能檢索到不少 Kaggle 上的預訓練模型。在機器之心的嘗試中，咱們分別以 CIFAR-十、Object Detection 和 SQuAD 爲關鍵詞搜索數據集，發現了一些頗有意思的結果。

首先咱們檢索了十分經常使用的圖像分類數據集 CIFAR-10，該數據集包含 10 個類別共 60000 張 32x32 的彩色圖像，且分爲 50000 張訓練圖像和 10000 張測試圖像。搜索結果共給出了 9 項來源，包括數據集、預訓練模型和對比結果。

例如在排名第一的搜索結果中，數據集來自 Kaggle 的 CIFAR-10 Python。在搜索引擎的簡介頁中，除了給出該數據集的簡要信息（包括引用此數據集的論文），它甚至還展現了該數據集的使用指南。例如，以下展現頁介紹了該數據集在 Keras 的使用方法：

from os import listdir, makedirs
from os.path import join, exists, expanduser

cache_dir = expanduser(join('~', '.keras'))
if not exists(cache_dir):
    makedirs(cache_dir)
datasets_dir = join(cache_dir, 'datasets') # /cifar-10-batches-py
if not exists(datasets_dir):
    makedirs(datasets_dir)

# If you have multiple input datasets, change the below cp command accordingly, typically:
# !cp ../input/cifar10-python/cifar-10-python.tar.gz ~/.keras/datasets/
!cp ../input/cifar-10-python.tar.gz ~/.keras/datasets/
!ln -s  ~/.keras/datasets/cifar-10-python.tar.gz ~/.keras/datasets/cifar-10-batches-py.tar.gz
!tar xzvf ~/.keras/datasets/cifar-10-python.tar.gz -C ~/.keras/datasets/
複製代碼

點擊第一條數據源就能跳轉到對應的 Kaggle 頁面，下載和額外信息都展現在原頁面中。

在採用關鍵詞「Object Detection」進行搜索的過程當中，咱們會發現搜索結果遠遠要比上面多得多，大約會有上百條數據來源。依靠關鍵詞一樣檢索到了很是多流行的開源數據集，它們都適用於目標檢測這一領域。例如 Microsoft COCO、Face Detection 和 Vehicle Number Plate Detection 等。

從「Object Detection」的搜索結果來看，來自 Kaggle 的數據集佔了一小半，它們都會在 Kaggle 上提供下載與使用指南。其實瀏覽這麼多數據源，搜索引擎給出的簡介頁面就顯得很是重要了。咱們不須要跳轉到每個數據集的原地址，僅根據簡介就能瞭解該數據集的大概應用領域與內容。以下展現了 COCO 數據集的簡介頁面：

最後咱們檢索了斯坦福的問答數據集「SQuAD」，搜索結果不只給出了挑戰賽地址和數據集地址，同時還提供了類似數據集和挑戰賽的地址。可是在咱們檢索「SQuAD 2.0」的時候，並無搜索到斯坦福大學發佈的機器閱讀理解問答數據集 SQuAD 2.0，也多是該數據集太新，尚未被搜索引擎收錄。

合做機構

谷歌這一嘗試的早期支持者是美國國家海洋和大氣管理局（NOAA）。該機構的職權範圍從漁業到日冕，其檔案包含近 7 萬個數據集，包括 19 世紀的船舶日誌。這些數據的總容量超過 35 PB，至關於 35000 個典型硬盤的容量。

谷歌這一工具 Dataset Search 將幫助 NOAA 完成數據開放的使命，NOAA 首席數據官 Edward Kearns 表示。「咱們想探索新的方法，使其餘人也能使用這些數據。」

與數據擁有者展開合做是運行 Dataset Search 的關鍵步驟。儘管這一系統將來可能變得更加複雜，谷歌目前不打算像處理網頁和圖像那樣讀取或分析數據。Noy 表示，「只有數據發佈者提供的元數據足夠好，這種搜索工具纔可以好。」

和 Google Scholar 同樣，Dataset Search 目前不提供自動化查詢或應用程序編程接口（API），儘管谷歌表示未來可能會增長這一功能。

Noy 表示當研究人員開始使用 Dataset Search 時，谷歌將會觀察他們如何與其交互，並利用這些信息來改進搜索結果。她還表示，公司還沒有打算把該服務商業化。

隨着 Dataset Search 的不斷改進，將來它也許會跟 Google Scholar 整合，將特定研究領域的搜索結果關聯到相關數據集。

原文連接： www.nature.com/articles/d4…