日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 >

如何在PAI平台跑实验

發(fā)布時間:2025/3/17 45 豆豆
生活随笔 收集整理的這篇文章主要介紹了 如何在PAI平台跑实验 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

PAI平臺使用教程


  • build image
  • upload & run
  • storage system

build image

首先去官網(wǎng)下載docker windows,如果系統(tǒng)不適配,就用官網(wǎng)的docker tools輔助安裝。安裝后,右下角任務(wù)欄找到小鯨魚圖案,右鍵點擊setting。在左邊的欄目里面找到Daemon選項,進去后就會看到我們什么都沒有配置,所以按照下面的信息配置docker:

"registry-mirrors":["http://f1361db2.m.daocloud.io"] "insecure-registries":["192.168.193.253:5000"]

配置好后打開cmd或其他命令行軟件,用下面的指令下載基礎(chǔ)鏡像到本地并運行:

docker pull 192.168.193.253:5000/pytorch:v0.4.0 #此鏡像為pytorch0.4版本的基礎(chǔ)鏡像 docker image ls #查看目前本地所擁有的鏡像 docker container run -ti <Image ID> #從查看過程中可以得到Image ID,輸?shù)綄?yīng)位置,運行鏡像

運行鏡像后就進入linux的terminal了,你擁有root權(quán)限,可以進行任何操作。在其中配置好你想要的環(huán)境
弄完之后輸入exit退出
我們運行下面幾條指令,把剛剛弄好的鏡像上傳到服務(wù)器:

docker container ls -l #查看剛剛編輯的鏡像,主要記住其container ID docker container commit <container ID> #把鏡像commit一下,返回一個sha256編碼就表示成功了 docker image ls #查看一下剛剛commit的鏡像id 剛剛commit的名字為none,記住其image id docker image tag <ImageID> <name>:<tag> #用這個命令給鏡像起名字,注意name 和 tag 要起成以下格式:192.168.193.253:5000/zhangyu:0.3 IP必須有,zhangyu那部分填自己的,冒號后面為tag,你可以當(dāng)作版本號。 docker push <Image 名字> #上傳你的鏡像

至此鏡像就配置完了,下面就可以上傳代碼,跑代碼了

upload & run

首先在本地python環(huán)境安裝常瑞師兄編寫的pai包,常瑞師兄在github上寫的比較詳細(xì),具體操作按照上面來,我在這里主要介紹一下configuration中的注意事項,所涉及的都是需要改的,其余可以不予理睬。
jobname:是我們提交任務(wù)的名稱,同時平臺會在root下建立一個此名稱的文件夾,運行其中代碼。初次我們起名為**_,上傳時平臺會在_后隨即給你添數(shù)字,如果你不按照此格式,他會把你起的名稱覆蓋。
image:填你要使用的鏡像名稱
gputype:填你要使用的gpu 目前有兩種 geforce1080ti geforce2080ti
cpunumber:填你要申請的cpu數(shù)量,一般3就足夠了
memoryMB:一般4、5g就可
shmMB:影響讀數(shù)據(jù)速度,可以填1024或2048,填多了沒用
gpuNumber:這里填你要申請的gpu數(shù)量,一般都為1個,如果需要并行跑,可以申請多個
command:/bin/bash /root/mount.sh 這個必輸,其余的就填你要運行的指令。

storage system

平臺采用掛載的形式,把服務(wù)器的部分存儲空間掛載到了平臺上,掛載過后的位置為:/root/data/
里面存放/root/data/datasets/數(shù)據(jù)集,/root/data/models/模型庫,/root/data/ouputs/存一些代碼的輸出
我們可以用WinSCP或XTerm連文件系統(tǒng):
ip為192.168.193.253 用戶名為fileserver 密碼 123456

新人創(chuàng)作打卡挑戰(zhàn)賽發(fā)博客就能抽獎!定制產(chǎn)品紅包拿不停!

總結(jié)

以上是生活随笔為你收集整理的如何在PAI平台跑实验的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。