https://www.zhongxiaoping.cn/2018/12/01/%E4%BD%BF%E7%94%A8colab%E5%B9%B3%E5%8F%B0%E8%BF%9B%E8%A1%8C%E8%AE%AD%E7%BB%83/

本文主要是講述模型在借組谷歌硬盤使用colab實現后臺運行,該平臺運行速度能讓人接受,并且操作也較為便捷.

• 一.簡介
• 二.準備工作:
• 三.安裝必要的包和軟件
• 四.掛載Drive
• 五.更改工作目錄
• 六.運行
• 七.總結
• 八.參考文獻

?

?

一.簡介

　　Google Colab 提供免費的 Jupyter 筆記本環境，不需要進行任何設置就可以使用，并且完全在云端運行，其默認的后臺深度學習框架是TensorFlow, 除此之外，你也可以在上面安裝并使用Keras、PyTorch、OpenCV等等流行的深度學習庫來．
可以把Colab看成是一臺帶有GPU的Ubuntu虛擬機，只不過我們只能用命令行的方式操作它。你可以選擇執行系統命令，亦或是直接編寫運行python代碼。（速度也是能讓人接受,不會太慢,比本身用筆記本慢些,關鍵離線）
Colab最多連續使用12小時，超過時間系統會強制掐斷正在運行的程序并收回占用的虛擬機。（好像再次連接到虛擬機后，虛擬機是被清空的狀態，需要重新配置和安裝庫等等），下面這幾步在每次啟動的時候都要進行(右上角顯示連接的時候),比較麻煩,免費的才是最貴的.,如圖:
需要重連的時候

二.準備工作:

1
2
3
4
5

1.谷歌賬號;
2.在谷歌硬盤當中興建文件夾,本次命名為BERT;
3.之后上傳代碼文件(預訓練模型文件看情況是否上傳,清空output文件夾--模型文件太大);
4.修改-->筆記本設置:硬件加速器改為GPU
5.點擊右上部分的連接按鈕,鏈接即可

三.安裝必要的包和軟件

1
2
3
4
5
6
7
8
9
10
11
12

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

　　如果出現:E: Package 'python-software-properties' has no installation candidate直接按回車即可(多次),如果運行中出現網址會提示輸入驗證碼，點擊程序給出的網址進行驗證得到驗證碼,復制粘貼即可。

四.掛載Drive

　　其實完成前面的操作我們就可以在Colab中敲寫代碼或者輸入一些系統命令了（linux下的一些基本命令），但是我們現在連接的虛擬機是和Google Drive脫離的，也就是說我們跑的程序無法使用谷歌云盤里的文件，這就非常受限制了。所以我們一般需要將谷歌云盤看作是虛擬機中的一個硬盤掛載，這樣我們就可以使用虛擬機輕松訪問谷歌云盤。
(1)清空上次緩存:

1
2

!mkdir -p drive
!google-drive-ocamlfuse drive

?

(2)或者保留上次緩存

1
2

!mkdir -p drive
!google-drive-ocamlfuse drive  -o nonempty

?

　　掛載完Google Drive，會在虛擬機里生成一個drive文件夾，直接將Google Drive當成是一塊硬盤即可。訪問drive文件夾里的文件，就是在訪問你的Google Drive里的文件。

五.更改工作目錄

　　Colab中cd命令是無效的，切換工作目錄使用chdir函數。

1
2

import os
os.chdir('drive/BERT')

?

　　執行以上代碼，當前工作目錄會進入到drive文件夾下的BERT文件夾下。我們再使用!ls命令會發現系統輸出的是drive文件夾下的目錄。
　　回到上級目錄：os.chdir(‘../‘)

六.運行

1
2
3
4
5
6
7
8
9
10
11
12
13

!python run_classifier.py \
	--task_name=vega \
    --do_train=true \
 --do_eval=true \
 --data_dir=data \
 --vocab_file=gs://cloud-tpu-checkpoints/bert/uncased_L-24_H-1024_A-16/vocab.txt \
 --bert_config_file=gs://cloud-tpu-checkpoints/bert/uncased_L-24_H-1024_A-16/bert_config.json \
 --init_checkpoint=gs://cloud-tpu-checkpoints/bert/uncased_L-24_H-1024_A-16/bert_model.ckpt \
 --max_seq_length=16 \
 --train_batch_size=32 \
 --learning_rate=2e-5 \
 --num_train_epochs=8.0 \
 --output_dir=output \

結果為:
colab上的測試結果

七.總結

　　（１）最好在本地編輯好,在本地能夠運行在提交到云平臺當中,要不然修改麻煩.并且效率低；
　　（２）云平臺上熱啟動有時候可能會報錯，這個要注意；
　　（３）如果出現不能保存模型結果,或者其他異常問題，最安全的方法就是刪除對應colab對應的文件(以.ipynb為結尾的)之后重新安裝,最后實在不行的話,全部代碼和.ipynb全部刪除,再次建立。因為一個colab對應的.pynib就相當于是個linux的虛擬機環境

八.參考文獻

　　?Google免費GPU使用教程
　　?Google Colab——用谷歌免費GPU跑你的深度學習代碼
　　?使用Google免費GPU進行BERT模型fine-tuning
　　?colab中文版

總結

以上是生活随笔為你收集整理的使用colab平台进行训练的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。