Google Colaboratory:一款用于深度学习的免费GPU使用方法
Google Colaboratory:一款用于深度學習的免費GPU使用方法
- 一、Google Colab介紹
- 二、Google Colab使用方法
- 2.1 登陸Google云盤
- 2.2 創建Google Colab類型文件
- 2.3 Colaboratory文件環境配置
- 2.4 Google Colaboratory的與深度學習相關配置環境基本信息
- 三、Google Colaboratory掛載谷歌云盤(Google Drive)
- 3.1 加載本地數據到云盤上
- 3.2 下載云盤數據到本地
眾所周知,在訓練深度學習時候需要非常大計算資源,通常CPU是不能滿足需求的,這個時候就需要使用GPU來進行計算。但是如果自己購買高性能的GPU,比如1080Ti都需要3000左右。因此,本文介紹一款免費的GPU計算資源:GPU Colaboratory。
一、Google Colab介紹
Google Colaboratory(可縮寫為Google Colab)是谷歌開放的一款用于機器學習領域的免費研究工具,最主要的是它給AI研究人員提供了免費的Tesla K80 GPU使用,該GPU以前具有24GB的顯存容量(現在大概為16GB),可以輕松的訓練Keras、Tensorflow、Pytorch等框架的深度學習模型。
Google Colab是基于jupyter notebook環境的,支持python2/3,同時還包括GPU、TPU加速。它與Google云盤集成,用戶可以通過Google云盤共享項目或將其他項目復制到自己的賬戶中。
二、Google Colab使用方法
2.1 登陸Google云盤
Google云盤的網址為:https://drive.google.com/drive/my-drive,并注冊賬戶。這樣就可以開心地使用Google Colaboratory了,打開云盤,點擊我的云盤硬盤下面的新建文件夾,創建自己的項目文件Deep Learning。
2.2 創建Google Colab類型文件
右鍵創的項目文件Deep Learning,選擇打開方式下的關聯更多應用。
如下圖所示,在Goolge Workspace Marketplace中安裝Colaboratory應用。
這時,我們就可以根據下圖,創建Colaboratory文件了。點擊建立的文件Deep Learning,在文件的空白處點擊鼠標右鍵,在彈出的對話框中選擇更多,然后選擇Google Colaboratory。
這樣我們就在Deep Learning文件夾下面創建了Colaboratory類型的文件了,系統會以網頁形式打開如下圖所示。Colaboratory類型文件是一個Jupyter notebook文件,可以通過網頁打開它,并在該文件中編輯python文件。點擊文件中的重命名我們就可以自定義Colaboratory文件的名字了。
2.3 Colaboratory文件環境配置
如果想讓創建的Colaboratory文件跑GPU程序,我們需要對其進行環境配置。雙擊建立的Colaboratory文件,如下圖所示,點擊工具欄的修改,然后點擊筆記本設置。
如下圖所示,在彈出的筆記本設置對話框中進行環境配置。在硬件加速器中選擇GPU,最后保存推出就完成了GPU環境配置。
注意:
這里如果不配置GPU,創建的Colaboratory類型的文件運行的遠程Google Colaboratory虛擬環境是沒有顯卡信息的。
2.4 Google Colaboratory的與深度學習相關配置環境基本信息
注意:
(1)創建的Colaboratory類型的Example_1.ipynb文件是運行在Google Colaboratory遠程服務器上的,它是一個以jupyter notebook界面顯示的深度學習開發環境的Ubuntu20.04系統。
(2)因此,我們不僅可以在上面運行python腳本,還可以使用pip指令安裝庫,甚至還能運行Linux Shell腳本,只不過需要在Linux指令前面加一個!。另外,還需要注意的是在Google Colaboratory平臺上cd命令是無效的,切換目錄使用的是os.chdir命令,比如,切換到根目錄:import os; os.chdir('/')。
-
如下圖所示,給出Google Colaboratory遠程服務器上一些基本信息,可以看出系統默認安裝的Tensorflow版本為2.8.8,python版本為3.7,系統為ubuntu18.04。
-
需要輸入的命令為:
- 如下圖所示,Google Colaboratory遠程服務器上顯卡信息如下所示,顯存為16GB,最高支持的CUDA版本為11.2。
- 如下圖所示,輸入命令!nvcc --version,可以看出Google Colaboratory遠程服務器上CUDA的版本為11.1版本。
- 如下圖所示,可以查看CPU內存、GPU內存使用上限,由下圖可以看出,CPU的使用上限只有256M,GPU內存的使用上限為11.4GB,另外,如果購買Colab pro顯存會變為16GB。
指令如下所示:
- 如下圖所示,可以查看GPU是否在Google Colaboratory中,輸出結果為'/device:GPU:0'表示GPU已經添加到Google Colaboratory中了。
- 查看GPU是否在Google Colaboratory中的指令為
三、Google Colaboratory掛載谷歌云盤(Google Drive)
創建的Google Colaboratory遠程服務器的工作目錄是/content(相當于Linux系統的/home目錄)。我們可以將谷歌云盤(Google Drive)掛載到Google Colaboratory遠程服務器上的/cotent/grive文件夾上。為了弄清除掛載谷歌云盤的過程,如下圖所示,我們首先查看掛載前文件夾/content下的內容,這個時候只有示例的一些經典的深度學習數據集合。
Google Colaboratory掛載谷歌云盤的python代碼如下所示:
執行完上面的python代碼后,在Goole Colaboratory上創建的項目Deep Learning就根谷歌云盤同步了,結果如下圖所示:
3.1 加載本地數據到云盤上
從本地上傳數據
我們首先在本地的系統中創建若干個文本文件,我在系統的/home/liang/文檔下面創建一個文檔Google_Drive,用于存放本地數據,并創建兩個文本文檔存放數據(作為演示用,文檔中的內容可以隨便寫),如下圖所示:
注意:從本地上傳使用的是Google Colaboratory平臺的python函數files.upload:它返回的是一個關于上傳文件信息的字典格式數據,其中,字典鍵值為文件名,字典的值為文件內的數據。
然后在Google Colaboratory平臺上輸入如下代碼:
from google.colab import filesuploaded = files.upload() for fn in uploaded.keys():print('上傳的文件 "{name}" 有 {length} 比特'.format(name=fn, length=len(uploaded[fn])))運行代碼,彈出如下所示的上傳文件對話框,點擊B,在本地的/home/liang/文檔/Google_Drive文件夾中選擇文本1和文本2,進行上傳。
。上傳的結果如下圖所示:
3.2 下載云盤數據到本地
將文件下載到
首先在Google Colaboratory平臺上點擊文件結構(網頁左邊),找到/content/gdrive/MyDrive/Deep Learning文件夾,右鍵Deep Learning文家夾,在彈出下拉框點擊新建文件,創建exam文件,雙擊exam文件輸入hellow world!。
然后,在Google Colaboratory平臺上輸入如下代碼,就可以將代碼下載到本地的/home/liang/下載文件夾內了。
總結
以上是生活随笔為你收集整理的Google Colaboratory:一款用于深度学习的免费GPU使用方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 实力秒杀ArcGIS,各种地图数据一键快
- 下一篇: bat 引号 嵌套_边缘检测 使用 Op