Google Colaboratory：一款用于深度學(xué)習(xí)的免費(fèi)GPU使用方法

• 一、Google Colab介紹
• 二、Google Colab使用方法
• • 2.1 登陸Google云盤
  • 2.2 創(chuàng)建Google Colab類型文件
  • 2.3 Colaboratory文件環(huán)境配置
  • 2.4 Google Colaboratory的與深度學(xué)習(xí)相關(guān)配置環(huán)境基本信息
• 三、Google Colaboratory掛載谷歌云盤（Google Drive）
• • 3.1 加載本地?cái)?shù)據(jù)到云盤上
  • 3.2 下載云盤數(shù)據(jù)到本地

眾所周知，在訓(xùn)練深度學(xué)習(xí)時(shí)候需要非常大計(jì)算資源，通常CPU是不能滿足需求的，這個(gè)時(shí)候就需要使用GPU來(lái)進(jìn)行計(jì)算。但是如果自己購(gòu)買高性能的GPU，比如1080Ti都需要3000左右。因此，本文介紹一款免費(fèi)的GPU計(jì)算資源：GPU Colaboratory。

一、Google Colab介紹

Google Colaboratory（可縮寫為Google Colab）是谷歌開(kāi)放的一款用于機(jī)器學(xué)習(xí)領(lǐng)域的免費(fèi)研究工具，最主要的是它給AI研究人員提供了免費(fèi)的Tesla K80 GPU使用，該GPU以前具有24GB的顯存容量（現(xiàn)在大概為16GB），可以輕松的訓(xùn)練Keras、Tensorflow、Pytorch等框架的深度學(xué)習(xí)模型。

Google Colab是基于jupyter notebook環(huán)境的，支持python2/3，同時(shí)還包括GPU、TPU加速。它與Google云盤集成，用戶可以通過(guò)Google云盤共享項(xiàng)目或?qū)⑵渌?xiàng)目復(fù)制到自己的賬戶中。

二、Google Colab使用方法

2.1 登陸Google云盤

Google云盤的網(wǎng)址為：https://drive.google.com/drive/my-drive，并注冊(cè)賬戶。這樣就可以開(kāi)心地使用Google Colaboratory了，打開(kāi)云盤，點(diǎn)擊我的云盤硬盤下面的新建文件夾，創(chuàng)建自己的項(xiàng)目文件Deep Learning。

2.2 創(chuàng)建Google Colab類型文件

右鍵創(chuàng)的項(xiàng)目文件Deep Learning，選擇打開(kāi)方式下的關(guān)聯(lián)更多應(yīng)用。

如下圖所示，在Goolge Workspace Marketplace中安裝Colaboratory應(yīng)用。

這時(shí)，我們就可以根據(jù)下圖，創(chuàng)建Colaboratory文件了。點(diǎn)擊建立的文件Deep Learning，在文件的空白處點(diǎn)擊鼠標(biāo)右鍵，在彈出的對(duì)話框中選擇更多，然后選擇Google Colaboratory。

這樣我們就在Deep Learning文件夾下面創(chuàng)建了Colaboratory類型的文件了，系統(tǒng)會(huì)以網(wǎng)頁(yè)形式打開(kāi)如下圖所示。Colaboratory類型文件是一個(gè)Jupyter notebook文件，可以通過(guò)網(wǎng)頁(yè)打開(kāi)它，并在該文件中編輯python文件。點(diǎn)擊文件中的重命名我們就可以自定義Colaboratory文件的名字了。

2.3 Colaboratory文件環(huán)境配置

如果想讓創(chuàng)建的Colaboratory文件跑GPU程序，我們需要對(duì)其進(jìn)行環(huán)境配置。雙擊建立的Colaboratory文件，如下圖所示，點(diǎn)擊工具欄的修改，然后點(diǎn)擊筆記本設(shè)置。

如下圖所示，在彈出的筆記本設(shè)置對(duì)話框中進(jìn)行環(huán)境配置。在硬件加速器中選擇GPU，最后保存推出就完成了GPU環(huán)境配置。

注意:
這里如果不配置GPU，創(chuàng)建的Colaboratory類型的文件運(yùn)行的遠(yuǎn)程Google Colaboratory虛擬環(huán)境是沒(méi)有顯卡信息的。

2.4 Google Colaboratory的與深度學(xué)習(xí)相關(guān)配置環(huán)境基本信息

注意:
（1）創(chuàng)建的Colaboratory類型的Example_1.ipynb文件是運(yùn)行在Google Colaboratory遠(yuǎn)程服務(wù)器上的，它是一個(gè)以jupyter notebook界面顯示的深度學(xué)習(xí)開(kāi)發(fā)環(huán)境的Ubuntu20.04系統(tǒng)。
（2）因此，我們不僅可以在上面運(yùn)行python腳本，還可以使用pip指令安裝庫(kù)，甚至還能運(yùn)行Linux Shell腳本，只不過(guò)需要在Linux指令前面加一個(gè)！。另外，還需要注意的是在Google Colaboratory平臺(tái)上cd命令是無(wú)效的，切換目錄使用的是os.chdir命令，比如，切換到根目錄：import os; os.chdir('/')。

• 如下圖所示，給出Google Colaboratory遠(yuǎn)程服務(wù)器上一些基本信息，可以看出系統(tǒng)默認(rèn)安裝的Tensorflow版本為2.8.8，python版本為3.7，系統(tǒng)為ubuntu18.04。

• 需要輸入的命令為：

from tensorflow import python import tensorflow as tf print('Google Colaboratory遠(yuǎn)程服務(wù)器中的Tensorflow版本：', tf.__version__) print('Google Colaboratory遠(yuǎn)程服務(wù)器中的Python版本及其位置：') print(python)!lsb_release -a

• 如下圖所示，Google Colaboratory遠(yuǎn)程服務(wù)器上顯卡信息如下所示，顯存為16GB，最高支持的CUDA版本為11.2。

• 如下圖所示，輸入命令!nvcc --version，可以看出Google Colaboratory遠(yuǎn)程服務(wù)器上CUDA的版本為11.1版本。

• 如下圖所示，可以查看CPU內(nèi)存、GPU內(nèi)存使用上限，由下圖可以看出，CPU的使用上限只有256M，GPU內(nèi)存的使用上限為11.4GB，另外，如果購(gòu)買Colab pro顯存會(huì)變?yōu)?6GB。
  指令如下所示：

from tensorflow.python.client import device_lib device_lib.list_local_devices()

• 如下圖所示，可以查看GPU是否在Google Colaboratory中，輸出結(jié)果為'/device:GPU:0'表示GPU已經(jīng)添加到Google Colaboratory中了。
• 查看GPU是否在Google Colaboratory中的指令為

import tensorflow as tf tf.test.gpu_device_name()

三、Google Colaboratory掛載谷歌云盤（Google Drive）

創(chuàng)建的Google Colaboratory遠(yuǎn)程服務(wù)器的工作目錄是/content（相當(dāng)于Linux系統(tǒng)的/home目錄）。我們可以將谷歌云盤（Google Drive）掛載到Google Colaboratory遠(yuǎn)程服務(wù)器上的/cotent/grive文件夾上。為了弄清除掛載谷歌云盤的過(guò)程，如下圖所示，我們首先查看掛載前文件夾/content下的內(nèi)容，這個(gè)時(shí)候只有示例的一些經(jīng)典的深度學(xué)習(xí)數(shù)據(jù)集合。

Google Colaboratory掛載谷歌云盤的python代碼如下所示：

from google.colab import drive drive.mount('/content/gdrive')

執(zhí)行完上面的python代碼后，在Goole Colaboratory上創(chuàng)建的項(xiàng)目Deep Learning就根谷歌云盤同步了，結(jié)果如下圖所示：

3.1 加載本地?cái)?shù)據(jù)到云盤上

從本地上傳數(shù)據(jù)
我們首先在本地的系統(tǒng)中創(chuàng)建若干個(gè)文本文件，我在系統(tǒng)的/home/liang/文檔下面創(chuàng)建一個(gè)文檔Google_Drive，用于存放本地?cái)?shù)據(jù)，并創(chuàng)建兩個(gè)文本文檔存放數(shù)據(jù)（作為演示用，文檔中的內(nèi)容可以隨便寫），如下圖所示：

注意：從本地上傳使用的是Google Colaboratory平臺(tái)的python函數(shù)files.upload：它返回的是一個(gè)關(guān)于上傳文件信息的字典格式數(shù)據(jù)，其中，字典鍵值為文件名，字典的值為文件內(nèi)的數(shù)據(jù)。

然后在Google Colaboratory平臺(tái)上輸入如下代碼：

from google.colab import filesuploaded = files.upload() for fn in uploaded.keys():print('上傳的文件 "{name}" 有 {length} 比特'.format(name=fn, length=len(uploaded[fn])))

運(yùn)行代碼，彈出如下所示的上傳文件對(duì)話框，點(diǎn)擊B，在本地的/home/liang/文檔/Google_Drive文件夾中選擇文本1和文本2，進(jìn)行上傳。

。上傳的結(jié)果如下圖所示：

3.2 下載云盤數(shù)據(jù)到本地

將文件下載到
首先在Google Colaboratory平臺(tái)上點(diǎn)擊文件結(jié)構(gòu)（網(wǎng)頁(yè)左邊），找到/content/gdrive/MyDrive/Deep Learning文件夾，右鍵Deep Learning文家?jiàn)A，在彈出下拉框點(diǎn)擊新建文件，創(chuàng)建exam文件，雙擊exam文件輸入hellow world!。

然后，在Google Colaboratory平臺(tái)上輸入如下代碼，就可以將代碼下載到本地的/home/liang/下載文件夾內(nèi)了。

from google.colab import files files.download('./exam.txt')

總結(jié)

以上是生活随笔為你收集整理的Google Colaboratory：一款用于深度学习的免费GPU使用方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。