Kaggle 命令行工具查看 AI 最新競賽和下載數據集

1. 安裝

1.1 普通安裝

kaggle 命令行工具安裝在系統搜索路徑下。

pip install kaggle
複製代碼

1.2 Mac/Linux 推薦安裝

kaggle 命令行工具安裝在當前登錄用戶目錄 ~/.local/bin 下。

pip install --user kaggle
複製代碼

安裝完成功後，確保 ~/.local/bin 添加到 PATH 環境變量中。

echo $PATH
複製代碼

若是未看到 ~/.local/bin 目錄，執行一下命令添加：

echo 'export PATH=~/.local/bin:$PATH' >>  ~/.bash_profile
source ~/.bash_profile
複製代碼

再次確認是否成功添加：

echo $PATH
複製代碼

對於不太熟悉 linux 的讀者，仍是增長一點提示，這裏看到的不是咱們添加的 ~/.local/bin , 而是形如 /Users/ken/.local/bin 或 /home/ken/.local/bin 的路徑，由於 ~ 表明的是當前用戶目錄，在添加後，被實際用戶目錄替代了。

1.3 檢查是否成功安裝

kaggle -v
複製代碼

顯示以下版本信息，表明已經正確安裝。下面，一塊兒 enjoy it !

Kaggle API 1.5.x
複製代碼

2. 帳戶受權

註冊 Kaggle 帳號。登錄帳號，進入用戶帳戶頁面 https://www.kaggle.com/<username>/account , 在 API 欄目，點擊 Create API Token 按鈕，觸發瀏覽器下載包含 API 憑證的 json 文件 kaggle.json 。將此文件放到 ~/.kaggle/kaggle.json 路徑下（Windows 系統路徑是 C:\Users\<Windows-username>\.kaggle\kaggle.json）。

在 linux 平臺，安全起見，建議給 API 憑證設置權限：

chmod 600 ~/.kaggle/kaggle.json
複製代碼

3. Kaggle 支持命令總覽

kaggle competitions {list, files, download, submit, submissions, leaderboard}
kaggle datasets {list, files, download, create, version, init}
kaggle kernels {list, init, push, pull, output, status}
kaggle config {view, set, unset}
複製代碼

4. Kaggle 競賽

與 Kaggele 競賽交互，使得參與競賽和模型構建工做流無縫集成。

4.1 查看當前能夠參與的競賽

kaggle competitions list
複製代碼

輸出以下：

ref                                            deadline             category            reward  teamCount  userHasEntered  
---------------------------------------------  -------------------  ---------------  ---------  ---------  --------------  
digit-recognizer                               2030-01-01 00:00:00  Getting Started  Knowledge       2680           False  
house-prices-advanced-regression-techniques    2030-01-01 00:00:00  Getting Started  Knowledge       4643           False  
imagenet-object-localization-challenge         2029-12-31 07:00:00  Research         Knowledge         51           False  
cat-in-the-dat                                 2019-12-09 23:59:00  Playground            Swag        553           False  
understanding_cloud_organization               2019-11-18 23:59:00  Research           $10,000        551           False  
3d-object-detection-for-autonomous-vehicles    2019-11-12 23:59:00  Featured           $25,000        141           False
...
複製代碼

按獎金排序：

kaggle competitions list --sort-by prize
複製代碼

輸出以下:

ref                                          deadline             category      reward  teamCount  userHasEntered  
-------------------------------------------  -------------------  --------  ----------  ---------  --------------  
passenger-screening-algorithm-challenge      2017-12-15 23:59:00  Featured  $1,500,000        518           False  
zillow-prize-1                               2018-01-10 15:59:00  Featured  $1,200,000       3775           False  
data-science-bowl-2017                       2017-04-12 23:59:00  Featured  $1,000,000       1972           False  
hhp                                          2013-04-04 07:00:00  Featured    $500,000       1351           False  
second-annual-data-science-bowl              2016-03-14 23:59:00  Featured    $200,000        192           False
...
複製代碼

篩選大廠招聘類競賽：

kaggle competitions list --category recruitment
複製代碼

將結果保存在 csv 文件裏：

kaggle competitions list --csv > competitions_list.csv
複製代碼

經過關鍵詞搜索競賽:

kaggle competitions list -s "dog cat"
複製代碼

查看更多支持選項：

kaggle competitions list -h
複製代碼

4.2 查看指定競賽排行榜

競賽由命令 kaggle competitions list 結果的 ref 字段指定。

kaggle competitions leaderboard -s facebook-ii
複製代碼

5. Kaggle 數據集

與 Kaggele 數據集交互，使搜索和下載 Kaggle 數據集成爲數據科學工做流程的一個無縫部分。

5.1 按關鍵詞搜索數據集

格式：kaggle datasets list -s [KEYWORD]

kaggle datasets list -s "dog cat"
複製代碼

5.2 下載指定數據集

格式：kaggle datasets download -d [DATASET] 。目標下載數據集由命令 kaggle datasets list 輸出的 ref 字段指定。

kaggle datasets download -d hocop1/cat-and-dog-breeds-parameters
複製代碼

數據集下載完成後，以 .zip 壓縮格式保存在當前目錄下。如：cat-and-dog-breeds-parameters.zip。

6. 更多命令

本文只介紹了筆者認爲最實用的命令。其餘命令，建議讀者在深刻了解 Kaggle 平臺後，自行探索嘗試，使用方式大同小異。本文再也不一一介紹。

獲取更多幫助，也能夠運行以下命令。

kaggle -h
複製代碼

或參考 Kaggle GitHub 主頁，見【參考 2】。

參考

• [1] How to use Kaggle: Public API
• [2] github.com/Kaggle/kagg…

微信掃描二維碼 獲取最新技術原創