Google Colab——零成本玩轉深度學習

時間 2019-11-08

原文原文鏈接

前言

最近在學深度學習HyperLPR項目時，因爲一直沒有比較合適的設備訓練深度學習的模型，因此在網上想找到提供模型訓練，通過一段時間的搜索，最終發現了一個谷歌的產品--Google Colaboratory。它幾乎能夠實現零成本玩轉深度學習，達到快速訓練模型的目的。python

Google Colaboratory是谷歌開放的一款深度學習的研究工具，主要用於深度學習的開發和研究。這款工具如今是能夠無償使用，可是暫時仍是沒法肯定是否是永久免費。Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU和TPU使用！GPU型號是Tesla K80！你能夠在上面輕鬆地跑例如：Keras、Tensorflow、Pytorch等框架。bash

Google Colab基本操做

網站：Google Colabapp

進入Google Colab網站-》新建項目框架

新建項目

建立完項目以後咱們就能夠進入Colab的主界面了。less

添加代碼塊

如今，咱們就能夠在代碼框中輸入一些代碼。這裏注意，若是咱們直接輸入代碼，系統會看成是Python代碼執行。例如咱們輸入：函數

a = 1 print(a)

運行以後輸出框中會打印出"1"。工具

運行結果

若是想去執行系統命令，只須要在命令前加感嘆號!。例如咱們輸入：學習

!ls

運行結果以下：網站

運行結果

執行以後輸出框中會顯示當前目錄下的全部文件夾。這是否是很像Linux下的命令行操做？google

其實在Google Colab中鏈接的雲端的那臺虛擬機正是使用的Ubuntu操做系統，咱們能夠將本身在Google Colab中的一切操做看做是在用命令行控制雲端的那臺Ubuntu虛擬機。你能夠用它來直接跑代碼，也可使用一些系統命令（咱們後面要安裝第三方軟件都須要藉助一系列的系統命令）。

前期配置

1. 修改筆記本環境

每新建一個Colab項目，都須要先對筆記本環境進行配置，運行類型選擇是Python2仍是Python3，硬件類型選擇CPU、GPU或者TPU。（其中Python2是2.7版本，Python3是3.6版本）

筆記本設置

修改完後點擊保存便可。

2. 安裝必要的包和軟件

在代碼段中輸入如下代碼：

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

運行代碼，運行中會提示輸入驗證碼，點擊程序給出的網址進行驗證便可。

3. 掛載Google Drive

其實完成前面的操做咱們就能夠在Google Colab中敲寫代碼或者輸入一些系統命令了，可是咱們如今鏈接的虛擬機是和Google Drive脫離的，也就是說咱們跑的程序沒法使用谷歌雲盤裏的文件，這就很是受限制了。因此咱們通常須要將谷歌雲盤看做是虛擬機中的一個硬盤掛載，這樣咱們就可使用虛擬機輕鬆訪問谷歌雲盤。
掛載Google Drive代碼：

!mkdir -p drive
!google-drive-ocamlfuse drive

運行掛載Google Drive代碼會出現應認證的連接

裝載Google Drive

點擊連接得到應用認證碼

應用認證碼

將應用認證碼複製輸入到下面的文本框中，點擊回車鍵便可

輸入應用認證碼

加載成功以後在左邊的文件中多了一個dirve文件夾

加載成功

掛載完後在虛擬機中會多出一個文件夾"drive"，咱們能夠用

!ls

命令查看。

更改工做目錄

在Colab中cd命令是無效的，切換工做目錄使用chdir函數。

import os os.chdir("drive")

執行以上代碼，當前工做目錄會進入到drive文件夾下。咱們再使用!ls命令會發現系統輸出的是drive文件夾下的目錄。

回到上級目錄：

os.chdir('../')

運行本身的代碼

好了，各類準備工做都作好了，咱們如何在Colab上直接運行本身寫好的代碼呢？其實很簡單，就跟在本身電腦上同樣，使用命令

!python XXX.py

就能夠了！詳細步驟以下：

1. 將.py文件和其它必要的文件上傳到Google Drive

上傳速度很快，不用擔憂網速問題~

import os os.chdir('drive/Colab/Your project folder')

若是不放心的話切換完以後用!ls命令看一下是否是到了指定目錄下。

3. 運行代碼

!python XXX.py

4. 注意事項

Linux系統下文件路徑使用'/'而不是'\'

總結

能夠把Google Colab當作是一臺帶有GPU或者TPU的Ubuntu虛擬機，只不過咱們只能用命令行的方式操做它。你能夠選擇執行系統命令，也能夠直接編寫運行python代碼。
掛載完Google Drive，會在虛擬機裏生成一個drive文件夾，直接將Google Drive當成是一塊硬盤便可。訪問drive文件夾裏的文件，就是在訪問你的Google Drive裏的文件。
Colab最多連續使用12小時，超過期間系統會強制掐斷正在運行的程序並收回佔用的虛擬機。（好像再次鏈接到虛擬機後，虛擬機是被清空的狀態，須要從新配置和安裝庫等等）
請使用科學-上網方式。