VS Tools for AI全攻略(2)低配置虚拟机也能玩转深度学习,无需NC/NV系列
接著上文VS Tools for AI全攻略,我們來討論如何使用Azure資源來訓練我們的tensorflow項目。Azure云我個人用得很多,主要是因為微軟爸爸批了150刀每月的額度,我可以愉快地玩耍。
那么針對Azure,有成套的兩個方案解決問題。
方案一(比較有錢的、對速度要求高的):使用Deep Learning Virtual Machine - NC系列虛擬機
這個是真貴……具體配置方案如下:
首先你得有一個Azure。這一段不講。
然后進入你的Azure Portal,新建一個這樣的虛擬機:
?
根據云虛擬機的一般情況,你可以在創建虛擬機的時候用密碼創建,然后使用XShell生成RSA密鑰對,使用SSH遠程連接。一般來說SSH連接都是更加主流且常見的連接方式。
之后選擇配置。
別急著說貴,必要情況下,這個GPU好到足以撐起整個實驗室。請看配置:
看到K80,你就會瞬間覺得這個價格無比良心了。
但是對于那些個人用戶來說,肯定是用不到這么高端的配置的。對于這些個人用戶,該怎么做呢?
現在我們需要一種窮人的方法來搭建好Azure虛擬機。
思路很簡單,因為AI組件的原理其實是傳送了script文件和命令上去,那么我們這個虛擬機只要做好了所有的配置,那么我們就可以將它當作深度學習虛擬機來用了。
寫到這里,我忍不住哀嘆一聲。買不起外置顯卡的窮人,只能絞盡腦汁想這種省錢的辦法。
新建一個Ubuntu 16.04LTS虛擬機。當然選擇Windows虛擬機也是可以的,只是不太主流。
選擇存儲之后,使用XShell遠程連接虛擬機(這樣比較方便)。
注意此時的虛擬機,GPU約等于沒有,所以我們不得不運行CPU版本。所以這個虛擬機的性能會比較差,但是虛擬機此時也可以拿來用作其他事情,比如當作私有云盤,或者是tizi。
具體的安裝步驟可以查看http://www.cnblogs.com/ldzhangyx/p/7624771.html,這篇博文主要講述了如何deploy你的虛擬機,并且安裝好TensorFlow環境。注意,與那篇文章有些區別的是,Azure虛擬機一般情況下不能帶動CUDA,所以我們需要做的僅僅是:
1,安裝Python3
2,安裝TensotFlow及必要的依賴庫(如pandas),這個依賴庫的列表可能很長,所以也可以安裝Anaconda來做到一次性配置。
TIPS:一定要安裝好所有的依賴庫,具體的列表可以通過報錯信息確定。
下面的操作以Ubuntu版本為準,Windows版本的配置方法類似。
我們打開VS installer,安裝Azure SDK。
?
安裝完成之后的主要步驟參見:https://github.com/Microsoft/vs-tools-for-ai/blob/master/docs/tensorflow-vm.md
這里做出中文的說明。
1,打開你的解決方案。
2,選擇服務器資源管理器,使用SSH連接好你的虛擬機。(記得提前給你的虛擬機設置靜態IP)
連接完成之后你可以發現Remote machine里多了你的虛擬機。你可以點進去看看你虛擬機的文件。
?
3,提交一個Job。
在解決方案管理器里提交job,有幾個參數需要注意一下:
?
cluster是你的虛擬機名字。在第三行有一個Job Name必須寫,你選一個自己喜歡的名字就好,作為job的區分標識。
下面這些參數有些復雜,但是如果你直接提交的話,將會報類似的錯誤。
點擊這里查看所有的Jobs:
?如果你選擇了Python2/3雙版本共存,可能會出現這樣的錯誤:
?
原因出在這里:
如果我們在Summit的時候填寫的是python,那么虛擬機會執行python tensorflowapplication.py這一條指令。
而我們之前為了方便,安裝了Python3使得兩版本共存,那么python調用的其實是python2.要使虛擬機調用Python3,我們只需要這么修改:
?
這樣我們就可以使用Python3了。
提交,查看結果:
如果你要在執行的時候指定一些參數,也是在類似的地方進行調整
相關文章:?
-
認識微軟Visual Studio Tools for AI
-
微軟Connect(); 2017大會梳理:Azure、數據、AI開發工具
原文:http://www.cnblogs.com/ldzhangyx/p/7967500.html
.NET社區新聞,深度好文,歡迎訪問公眾號文章匯總 http://www.csharpkit.com
總結
以上是生活随笔為你收集整理的VS Tools for AI全攻略(2)低配置虚拟机也能玩转深度学习,无需NC/NV系列的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Asp.NET Core2.0 项目实战
- 下一篇: 潘正磊:再过三五年 AI会变成开发人员的