使用谷歌Colab(Colaboratory)免費(fèi)GPU訓(xùn)練自己的模型及谷歌網(wǎng)盤(pán)無(wú)限容量(Google drive)申請(qǐng)教程

谷歌的colab(Colaboratory)是谷歌為全世界學(xué)術(shù)研究者免費(fèi)提供GPU算力的項(xiàng)目，目前能夠提供的顯卡包括K80、Tesla T4、Tesla P100 PCIE等用于深度學(xué)習(xí)加速訓(xùn)練的專(zhuān)業(yè)級(jí)顯卡，可以免費(fèi)使用12h，12h后自動(dòng)斷開(kāi)服務(wù)器連接。也可以付費(fèi)成為Clab Pro用戶(hù)，每月9.99刀，折合下來(lái)只要七八十元，使用時(shí)間相對(duì)免費(fèi)版寬裕一些，但是連接的時(shí)間長(zhǎng)了還是會(huì)被限額，以下是我使用Colab的一個(gè)簡(jiǎn)單教程，從頭開(kāi)始。結(jié)合谷歌網(wǎng)盤(pán)的無(wú)限容量可以實(shí)時(shí)將訓(xùn)練好的模型保存到谷歌網(wǎng)盤(pán)，避免在斷開(kāi)連接時(shí)數(shù)據(jù)丟失。

1.上網(wǎng)設(shè)置

谷歌是屬于國(guó)外站點(diǎn)，因此國(guó)內(nèi)網(wǎng)絡(luò)無(wú)法正常訪問(wèn)，此時(shí)需要使用相關(guān)方法能夠訪問(wèn)外部網(wǎng)絡(luò)（科普：私自搭建外網(wǎng)服務(wù)信道違法， 建議小心行事，不要隨意訪問(wèn)其他違法網(wǎng)站即可），在此博主就不推薦相關(guān)方法了，請(qǐng)自行去查找相關(guān)方法，如果實(shí)在找不到方法可以聯(lián)系博主（tangwu0521@gmail.com）

2.谷歌賬號(hào)注冊(cè)及谷歌網(wǎng)盤(pán)獲取

2.1谷歌賬號(hào)注冊(cè)

在能夠正常訪問(wèn)外網(wǎng)站點(diǎn)后，需要進(jìn)入https://mail.google.com/mail/注冊(cè)谷歌郵箱賬戶(hù)，以gmail.com結(jié)尾。

2.2 谷歌網(wǎng)盤(pán)及無(wú)限容量團(tuán)隊(duì)盤(pán)獲取

點(diǎn)擊進(jìn)入谷歌網(wǎng)盤(pán)https://drive.google.com/，使用剛剛注冊(cè)的谷歌郵箱賬號(hào)登錄，但是登陸后容量只有15G，這對(duì)于我們深度學(xué)習(xí)所需的容量來(lái)說(shuō)是遠(yuǎn)遠(yuǎn)不夠的，因此我們需要申請(qǐng)無(wú)限容量團(tuán)隊(duì)盤(pán)。

點(diǎn)擊https://gd.zxd.workers.dev/填寫(xiě)好團(tuán)隊(duì)盤(pán)的名稱(chēng)和注冊(cè)的gmail郵箱地址點(diǎn)擊submit即可，此盤(pán)只有自己可見(jiàn)，自己是管理員。

3.數(shù)據(jù)上傳

接下來(lái)就是要將你訓(xùn)練的所有數(shù)據(jù)代碼及整個(gè)工程上傳至Googledrive，直接在Googledrive頁(yè)面右鍵上傳新文件或文件夾即可（建議直接上傳壓縮包，速度快）后面直接在colab里面解壓就可以了。

4.配置Colab

點(diǎn)擊https://colab.research.google.com/notebooks/intro.ipynb打開(kāi)Colab，頁(yè)面如下，使用gmail郵箱登陸后右上角顯示頭像。

tips：在不正式訓(xùn)練（如需要解壓縮文件或者修改代碼）時(shí)可不使用GPU模式以節(jié)省時(shí)間防止限額。

4.1連接谷歌網(wǎng)盤(pán)

如下圖，首先查看1處是否現(xiàn)實(shí)內(nèi)存等信息，如果顯示才可以連接。然后點(diǎn)擊2處切換到文件面板，點(diǎn)擊3notebook面板顯示連接谷歌網(wǎng)盤(pán)的代碼（4），點(diǎn)擊5處的鏈接獲取授權(quán)信息及授權(quán)碼填入下面的框里回車(chē)即可連接到谷歌網(wǎng)盤(pán)


在共享盤(pán)中可以查看到自己上傳的文件。

4.2 連接到GPU

點(diǎn)擊修改–筆記本設(shè)置 將硬件加速器改成gpu，等待服務(wù)器重新連接即可。


12小時(shí)的限額對(duì)于很多模型訓(xùn)練來(lái)說(shuō)是不太夠，因此可以購(gòu)買(mǎi)Pro版本，付費(fèi)問(wèn)題可以使用淘寶代購(gòu)或其他途徑。

5.訓(xùn)練

由于各個(gè)模型的環(huán)境都不一樣，Colab使用的Linux環(huán)境，因此命令與Linux類(lèi)似，可以使用pip install 安裝或者更改你想要的庫(kù)（服務(wù)器斷開(kāi)連接后全部清零）
我總結(jié)了一些比較常用的：

#更改工作路徑 %cd /content/drive/Shared\ drives/***/MR #進(jìn)入到MR文件夾#解壓文件 !unzip ***/images.zip -d (解壓到哪個(gè)文件夾)#查看當(dāng)前目錄 !pwd#運(yùn)行py文件： !python train.py#其他常用命令與linux類(lèi)似

如果需要更改某個(gè)代碼文件直接雙擊文件即可。

6. 總結(jié)

總的來(lái)說(shuō)如果在沒(méi)有足夠資源的情況下colab還是比較實(shí)用的，免費(fèi)版訓(xùn)練的顯卡是隨機(jī)分配的，有一些缺點(diǎn)目前總結(jié)如下：

限額，12h的限額比較難受，因此需要及時(shí)保存訓(xùn)練的模型，長(zhǎng)時(shí)間不用gpu的情況下也會(huì)被限額（Pro版也一樣），因此訓(xùn)練完建議及時(shí)改成gpu或停止。

環(huán)境，每次斷開(kāi)服務(wù)器都需要重新設(shè)置環(huán)境和連接谷歌網(wǎng)盤(pán)，流程都要走一遍。

網(wǎng)盤(pán)，數(shù)據(jù)量較大的情況下，谷歌網(wǎng)盤(pán)的速度實(shí)在是慢！！！
除了谷歌外還有一些免費(fèi)的平臺(tái)貌似也可以使用，如paperspace、百度的AI studio等。
如果各位同仁在使用過(guò)程中還有啥問(wèn)題大家也可以一起交流：tangwu0521@gmail.com

本文為自己總結(jié)，如有侵權(quán)請(qǐng)聯(lián)系刪除！

總結(jié)

以上是生活随笔為你收集整理的使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。