OpenMPI 集群配置
現在有2臺機器,希望可以嘗試一下在多臺機器上跑MPI的感覺,所以跑之前就得配置,先參考網址:
https://www.cnblogs.com/awy-blog/p/3402949.html:
1. 配置自動ssh登錄
這里主要是要各個機器之間能無密碼訪問,主要用到的就是SSH,因此需要一些設置。
首先,我們需要導出各個節點的公鑰和私鑰:
$ ssh-keygen -t rsa
在運行過程中,會提示你輸入這個輸入那個,不用管那么多,直接回車就完了。等運行結束后,進入.ssh目錄,你會看到公鑰和私鑰文件;
$ cd ~/.ssh $ ls id_rsa id_rsa.pub
其中id_rsa就是私鑰,id_rsa.pub就是公鑰,現在我們需要把各個節點上的公鑰都集中發送到一個節點上,來制作授權文件(authorized_keys).
注意:在兩臺機器必須安裝ssh(sudo apt-get install ssh openssh-server)而且必須設置root密碼(sudo passwd root),才能遠程登錄
$ scp ~/.ssh/id_rsa.pub node1:~/.ssh/1.pub
在將 node2 的公鑰文件拷貝到 node1 后,在node1-ubuntu進行如下處理,制作好文件 authorized_keys :
$ cp ~/.ssh/id_rsa.pub authorized_keys $ cat ~/.ssh/1.pub >> authorized_keys
在node1 上制作好的authorized_keys拷貝到node2上:(node1使用scp)
$ scp ~/.ssh/authorized_keys node2:~/.ssh/
要想讓這兩臺機器無密碼登錄,所以我們需要更改一下必要的文件的權限(所有節點都要更改):其實只要保證authorized_keys的文件權限為600或者644
$ chmod 755 ~ $ chmod 755 ~/.ssh $ chmod 600 ~/.ssh/authorized_keys $ chmod 600 ~/.ssh/id_rsa $ chmod 644 ~/.ssh/id_rsa.pub
至此,SSH配置就完成了。下面檢驗一下:
在一個主機上面SSH另一個主機 ( 不需要賬號和密碼 ) :
$ ssh node1
現在2臺機器已經可以自由的SSH登陸了!
2. MPI運行環境配置
執行了configure命令之后,
./configure --prefix=/home/<USERNAME>/openmpi 2>&1 | tee install1.log
提示:
Open MPI configuration: ----------------------- Version: 3.0.1 Build MPI C bindings: yes Build MPI C++ bindings (deprecated): no Build MPI Fortran bindings: no MPI Build Java bindings (experimental): no Build Open SHMEM support: yes Debug build: no Platform file: (none) Miscellaneous ----------------------- CUDA support: no Transports ----------------------- Cray uGNI (Gemini/Aries): no Intel Omnipath (PSM2): no Intel SCIF: no Intel TrueScale (PSM): no Mellanox MXM: no Open UCX: no OpenFabrics Libfabric: no OpenFabrics Verbs: no Portals4: no Shared memory/copy in+copy out: yes Shared memory/Linux CMA: yes Shared memory/Linux KNEM: no Shared memory/XPMEM: no TCP: yes Resource Managers ----------------------- Cray Alps: no Grid Engine: no LSF: no Moab: no Slurm: yes ssh/rsh: yes Torque: no
這里可以看到我們支持的通信協議和資源管理器支持只ssh
編譯和安裝的命令:
make all 2>&1 | tee make.log make install 2>&1 | tee install2.log
出來一堆亂七八糟的,沒眼看,然后找到安裝目錄下的 bin, 里面有很多編譯器和可執行程序:
使用 mpicc 編譯出可執行程序, 再使用 mpirun 去運行,就可以看到對應的輸出。
正常運行后,這步驟就完成了!
3. 并行運行:
用vim編輯一個文件命名為hosts:如果你想在一個節點上運行多個進程,那么hostfile 可以使用 "slots" 屬性。如果沒有指定"slots",那么將假設其數目為1.
node1 node2
或者
node1-ubuntu slots=4 node2-ubuntu slots=2
讓兩個節點并行運行例子程序,如下所示:
$ mpiexec -hostfile hosts -np 8 ./Test
如果運行正常,就會在運行該命令的機器上有一些顯示,如果host列表中的機器的 相同路徑下 沒有這個文件的話,會報錯:
$ ~/OpenMpi/bin/mpiexec -hostfile hosts -np 2 ~/TestA -------------------------------------------------------------------------- mpiexec was unable to launch the specified application as it could not access or execute an executable: Executable: /home/xxxxx/TestA Node: localhost while attempting to start process rank 0. --------------------------------------------------------------------------
就是:
1.多臺主機下 相同路徑 下的 可執行程序命名相同
2. 開啟進程數不要太多,以免超出上限,可參考 OpenMPI運行問題:enough slots available in the system
接下來,我發現,2臺機器上的每個進程,但是 printf 輸出的信息都只在一臺機器上,這是為什么呢?——按照每臺機器分別運行一個進程的話,應該打印在自身的控制臺上才對呀?
后來通過測試,發現標準輸出確實是只打印在運行命令的那臺機器的控制臺上。
而且只要可執行程序名稱相同就可以,源代碼是可以不一樣的。(當然,最好還是一樣啦,我這里弄成不一樣是為了測試確實在2臺機器上跑了)
機器一執行程序A: 輸出固定數字 11
機器二執行程序B(生成源代碼僅僅只有一個 printf 語句是不同的): 輸出固定數字 22
給機器一劃分一個進程,機器二也是一個進程,果然每次會輸出11,22 或者 22,11 ——說明確實在2臺機器上分別跑了。
也就是說,我們這個 MPI 集群其實已經搭建好了,接下來更深入的機理我后續會盡力去理清楚。
總結
以上是生活随笔為你收集整理的OpenMPI 集群配置的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: nginx实现https访问(自建证书及
- 下一篇: 回炉Spring--Bean生命周期及A