如何在云服務(wù)器上訓(xùn)練（train）神經(jīng)網(wǎng)絡(luò)？

目錄：

• 如何在云服務(wù)器上訓(xùn)練（train）神經(jīng)網(wǎng)絡(luò)？
• • 一、linux常用命令
  • 二、WinScp連接云服務(wù)器
  • 三、搭建云服務(wù)器虛擬環(huán)境（ubuntu為例）
  • 四、在云服務(wù)器上開始訓(xùn)練網(wǎng)絡(luò)
  • 五、如何讓部署在云服務(wù)器上的項目一直運行
  • 六、報錯：Unable to allocate xxx GiB for an array with shape (xxxx, xxxx)
  • • 方法1、在Ubuntu服務(wù)器上添加swap交換文件
    • • • 1）.首先來了解一下什么是Swap
        • 2）.檢查系統(tǒng)的交換信息
        • 3）.檢查硬盤驅(qū)動器分區(qū)上的可用空間
        • 4）.創(chuàng)建swap文件
        • 5）.啟用交換文件
        • 6）.永久保留交換文件

一、linux常用命令

linux命令作用

cd /	切換到根目錄
pwd	查看當(dāng)前目錄路徑
ls -a	查看根目錄
rm -rf	刪除文件夾
sudo mkdir 文件夾名稱	創(chuàng)建文件夾

二、WinScp連接云服務(wù)器

文件協(xié)議：SFTP
主機名：實例公網(wǎng)IP
用戶名：root
密碼：root密碼，（如果忘記，可以通過 sudo passwd root 修改）
保存登錄即可。

• 報錯Permission denied,please try again：
  當(dāng)使用Winscp連接云服務(wù)器時，我們發(fā)現(xiàn)錯誤，被拒絕，是因為ssh的權(quán)限問題，需要修改權(quán)限，進入到/etc/ssh文件夾下，用root用戶修改文件sshd_config，(引用鏈接：https://www.cnblogs.com/xuliangxing/p/7428737.html
• 解決辦法：
  切換到root用戶：sudo -i
  如果忘記root密碼 可以更改：sudo passwd root
  用root用戶修改文件：cd /etc/ssh ， vim sshd_config
  將PermitRootLogin no / without-password改為PermitRootLogin yes（需要解開注釋）
  重啟sshd服務(wù)：sudo service ssh restart

三、搭建云服務(wù)器虛擬環(huán)境（ubuntu為例）

借鑒文章，總結(jié)如下：

• 安裝python3.6

• 檢測pip3是否存在:

  pip3 -V

  如果不存在，安裝：

  sudo apt install python3-pip

  檢查安裝：

  pip3 list

• 安裝虛擬環(huán)境virtualenv

  sudo apt install python3-virtualenv //或者 pip3 install virtualenvwrapper

  對比：virtualenv不是很友好，我們可以安裝virtualwrapper。virtualwrapper它是一個簡單方便管理Python虛擬環(huán)境的工具。

• 查看virtualwrapper存放路徑，記為 road1

  whereis virtualenvwrapper.sh

• 接著配置virtualwrapper的環(huán)境變量,存儲即將創(chuàng)建的虛擬環(huán)境

  vim ~/.bashrc

  shift+g直接跳到底部，點擊鍵盤的i鍵進入插入模式：

  export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
  #虛擬環(huán)境存儲的路徑為：
  export WORKON_HOME=$HOME/.virtualenvs
  source road1 #此處是你的安裝位置
  #注：HOME代表的路徑可以通過命令echo $HOME查找

• 激活我們的配置

  source ~/.bashrc

• 創(chuàng)建虛擬環(huán)境

  mkvirtualenv -p python3.6 虛擬環(huán)境名稱

• 虛擬環(huán)境操作常用linux命令：

  常見命令作用

  workon / lsvirtualenv	查看現(xiàn)有虛擬環(huán)境
  workon 虛擬環(huán)境名稱	使用虛擬環(huán)境
  workon +tab tab	使用虛擬環(huán)境
  deactivate	退出虛擬環(huán)境
  rmvirtualenv	刪除虛擬環(huán)境(需要先退出虛擬環(huán)境)
  mkdir	創(chuàng)建文件夾
  rm -f 文件路徑或名稱	刪除文件夾
  d	刪除虛擬環(huán)境(需要先退出虛擬環(huán)境)

四、在云服務(wù)器上開始訓(xùn)練網(wǎng)絡(luò)

步驟如下：

上傳windows本地文件到linux云服務(wù)器
如果本地是windows，好像不支持scp命令上傳，可以采用WinSCP的圖形界面上傳（第二點中介紹如何使用WinSCP連接遠(yuǎn)程服務(wù)器）。

在服務(wù)器，如何解壓文件、解壓文件以zip壓縮包為例：
壓縮
zip -r archive_name.zip filename (-r是壓縮文件)
解壓
unzip archive_name.zip (解壓文件在當(dāng)前文件下)
unzip archive_name.zip -d new_dir (解壓文件可以將文件解壓縮至一個你指定的的目錄，使用-d參數(shù))
注：tar格式、tar.gz格式、tar.bz2格式。 原文鏈接

運行.py文件：
python py文件名
報錯：當(dāng)報錯顯示找不到中國文件時，看文件名稱是否被一對 ‘ ’ 包括，若是需要修改（去掉引號），繼續(xù)運行即可。

安裝brain2:
pip install brian2 -i https://mirrors.aliyun.com/pypi/simple/
測試安裝是否成功：
import brian2
brian2.test()

五、如何讓部署在云服務(wù)器上的項目一直運行

參考文章
使用screen命令: (原文 http://lnmp.ailinux.net/screen)

screen簡介：
Screen是一款由GNU計劃開發(fā)的用于命令行終端切換的自由軟件。用戶可以通過該軟件同時連接多個本地或遠(yuǎn)程的命令行會話，并在其間自由切換。GNU Screen可以看作是窗口管理器的命令行界面版本。它提供了統(tǒng)一的管理多個會話的界面和相應(yīng)的功能。

screen特點——會話恢復(fù)
只要Screen本身沒有終止，在其內(nèi)部運行的會話都可以恢復(fù)。這一點對于遠(yuǎn)程登錄的用戶特別有用。只要再次登錄到主機上執(zhí)行screen -r就可以恢復(fù)會話的運行。同樣在暫時離開的時候，也可以執(zhí)行分離命令detach，在保證里面的程序正常運行的情況下讓Screen掛起（切換到后臺）。這一點和圖形界面下的VNC很相似。

使用screen
1）安裝:yum install screen //CentOS 系列系統(tǒng) sudo apt-get install screen //Ubuntu 系列系統(tǒng) 2）創(chuàng)建 screen 窗口:screen -S name //name是開辟的新進程的名字 注意：執(zhí)行 screen -S name 之后系統(tǒng)會跳進一個新窗口，這個窗口就是我們創(chuàng)建的新進程（它來執(zhí)行我們的命令）。在這個新窗口中可以運行要運行的項目即可。
3）退出保存
CTRL+a+d ，退出開辟的新窗口，但是窗口里面的程序會一直運行。
4）查看screen -ls 如果只有一個 screen 進程，命令行輸入 screen -r -d 即可進入；
如果有多個screen, 我們可以通過它的 PID 進入，screen PID；
screen -r -d PID 進入之后直接CTRL+C，即可終止里面運行的程序。

六、報錯：Unable to allocate xxx GiB for an array with shape (xxxx, xxxx)

解決方案參考本鏈接
主要是進行矩陣運算時涉及的矩陣太大了，導(dǎo)致分配的內(nèi)存不夠用。

方法1、在Ubuntu服務(wù)器上添加swap交換文件

提高服務(wù)器響應(yīng)速度和防止應(yīng)用程序內(nèi)存不足錯誤的最簡單方法之一是添加一些交換空間。
請注意：盡管swap區(qū)通常建議用于使用傳統(tǒng)旋轉(zhuǎn)硬盤驅(qū)動器的系統(tǒng)，但使用與SSD交換可能會導(dǎo)致隨著時間的推移硬件退化問題。
參考文章鏈接：

1）.首先來了解一下什么是Swap

Swap分區(qū)（也稱交換分區(qū)）是硬盤上的一個區(qū)域，被指定為操作系統(tǒng)可以臨時存儲數(shù)據(jù)的地方，這些數(shù)據(jù)不能再保存在RAM中。 基本上，這使您能夠增加服務(wù)器在工作“內(nèi)存”中保留的信息量，但有一些注意事項，主要是當(dāng)RAM中沒有足夠的空間容納正在使用的應(yīng)用程序數(shù)據(jù)時，將使用硬盤驅(qū)動器上的交換空間。
總的來說，當(dāng)系統(tǒng)的RAM耗盡時，將交換空間作為回落空間可能是一個很好的安全網(wǎng)，可防止非SSD存儲系統(tǒng)出現(xiàn)內(nèi)存不足的情況。

2）.檢查系統(tǒng)的交換信息

在開始之前，我們可以檢查系統(tǒng)是否已經(jīng)有一些可用的交換空間，可能有多個交換文件或交換分區(qū)，但通常應(yīng)該是足夠的。我們可以通過如下的命令來查看系統(tǒng)是否有交換分區(qū)：

sudo swapon --show

如果沒有任何結(jié)果或者沒有任何顯示，說明系統(tǒng)當(dāng)前沒有可用的交換空間。也可以使用free工具來驗證當(dāng)前確實沒有可用的交換分區(qū)。

free -h

輸出結(jié)果：
可以看到這里的”swap”行均為0，也就是說系統(tǒng)上沒有交換處于活動狀態(tài)。

3）.檢查硬盤驅(qū)動器分區(qū)上的可用空間

為swap分配空間的最常見方式是使用專門用于具體某個任務(wù)的單獨分， 但是，改變分區(qū)方案并不是一定可行的，我們只是可以輕松地創(chuàng)建駐留在現(xiàn)有分區(qū)上的交換文件。

在開始之前，我們應(yīng)該通過輸入以下命令來檢查當(dāng)前磁盤的使用情況：

df -h

輸出結(jié)果：

在這種情況下，/dev下的設(shè)備是我們的磁盤。在這個例子中我們有足夠的空間（只使用了1.1G），當(dāng)然，您的使用情況可能會有所不同。
盡管對于交換空間的適當(dāng)大小有許多意見，但這取決于您的個人偏好和應(yīng)用程序要求。 一般來說，相當(dāng)于系統(tǒng)內(nèi)存量的兩倍或者兩倍是一個很好的起點。 另一個很好的經(jīng)驗是，如果你只是把它用作RAM備用，那么swap分區(qū)的大小盡量不要超過4 GB。

4）.創(chuàng)建swap文件

現(xiàn)在我們知道了可用的硬盤空間，那我們就可以在文件系統(tǒng)中創(chuàng)建一個交換文件，我們將在我們的根（/）目錄下創(chuàng)建一個名為swapfile的文件。創(chuàng)建交換文件最好的方法是使用fallocate命令，這個命令能立即創(chuàng)建一個預(yù)分配大小的文件。由于本示例中的服務(wù)器RAM的大小為512MB，因此我們將在本教程中創(chuàng)建一個1 GB大小的文件，并適當(dāng)加以調(diào)整，以滿足您自己的服務(wù)器的需求：

sudo fallocate -l 1G /swapfile

創(chuàng)建完成之后，我們可以通過這個命令來驗證是否保留了正確的交換空間：

ls -lh /swapfile

5）.啟用交換文件

現(xiàn)在我們有一個1 GB大小的文件，我們需要把它變成交換空間

首先，我們需要鎖定文件的權(quán)限，以便只有擁有root權(quán)限的用戶才能讀取文件內(nèi)容，這可以防止普通用戶能夠訪問該文件，以免造成重大的安全隱患。

鎖定文件的root權(quán)限：

sudo chmod 600 /swapfile

驗證權(quán)限：

ls -lh /swapfile

接下來，我們可以通過以下命令將文件標(biāo)記為交換空間：

sudo mkswap /swapfile

標(biāo)記文件之后，我們可以啟用該交換文件，讓我們的系統(tǒng)開始使用它：

sudo swapon /swapfile

可以通過以下命令驗證交換空間是否可用：

sudo swapon --show

這時，我們可以通過free再次查看我們的設(shè)置：

free -h

6）.永久保留交換文件

我們最近的更改啟用了當(dāng)前會話的swap文件，但是，如果我們重新啟動，服務(wù)器不會自動保留swap設(shè)置，我們可以通過將swap文件添加到/etc/fstab文件中來改變這一點。

備份/etc/fstab文件以防出錯：

sudo cp /etc/fstab /etc/fstab.bak

將swap文件信息添加到/etc/fstab文件的末尾：

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

這樣就保留了swap文件。

總結(jié)

以上是生活随笔為你收集整理的云服务器训练神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。