Yum安装支持InfiniBand的lustre——Install Lustre with InfiniBand Support By Yum
前言:實(shí)驗(yàn)室需要搭建一套Lustre,我在使用了網(wǎng)上各種教程之后總是不成功,于是嘗試了使用Lustre的yum庫來安裝,作如下總結(jié)
安裝支持InfiniBand的lustre
note:lustre的編譯安裝太容易出問題,所以這里選用的是yum安裝,請(qǐng)確保您的服務(wù)器能夠連接到相應(yīng)網(wǎng)絡(luò)
server端(包括mds與osd)
首先卸載已經(jīng)安裝了的infiniband(未安裝可不選)
sudo yum remove neohost-backend sudo /sbin/ofed_uninstall.sh #卸載已經(jīng)安裝了的lustre組件 sudo yum remove "*lustre*"請(qǐng)確認(rèn)沒有多刪之后再按y
添加lustre-server的yumrepo
sudo vim /etc/yum.repos.d/lustre-server.repo寫入如下內(nèi)容
[lustre-server] name=lustre-server baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.12.0-ib/MOFED-4.5-1.0.1.0/el7/server gpgcheck=0從lustre網(wǎng)站上安裝infiniband相關(guān)組件
sudo yum --enablerepo=lustre-server install "*OFED*" "*mlnx*" ibutils同樣,請(qǐng)檢查以上包來自于lustre-client而不是其他的鏡像源
啟動(dòng)ib
sudo modprobe -rv ib_isert rpcrdma ib_srpt sudo service openibd start關(guān)于infiniband的config部分我是用的我們實(shí)驗(yàn)室的規(guī)定,可以根據(jù)自己情況修改
如果讀者不知道怎么弄,如下操作
請(qǐng)將10.0.0.1修改為每臺(tái)機(jī)器對(duì)應(yīng)的地址
添加e2fsprogs的yumrepo
sudo vim /etc/yum.repos.d/e2fsprogs.repo寫入
[e2fsprogs-el7-x86_64] name=e2fsprogs-el7-x86_64 baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7/ enabled=1 priority=1note:最好打開瀏覽器手動(dòng)核對(duì)url鏈接,確保與你的服務(wù)器版本對(duì)應(yīng)
安裝打過lustre補(bǔ)丁的內(nèi)核
sudo yum install kernel-3.10.0-957.el7_lustre kernel-debuginfo-3.10.0-957.el7_lustre kernel-debuginfo-common-x86_64-3.10.0-957.el7_lustre kernel-devel-3.10.0-957.el7_lustre kernel-headers-3.10.0-957.el7_lustre uname -r #檢查內(nèi)核是否是3.10.0-957.el7_lustre,不是的話設(shè)定手動(dòng)內(nèi)核啟動(dòng)模塊 sudo reboot安裝lustre
sudo yum --nogpgcheck --enablerepo=lustre-server install kmod-lustre-osd-ldiskfs kmod-lustre lustre lustre-osd-ldiskfs-mount lustre-iokit lustre-tests kmod-lustre-tests裝lustre應(yīng)該會(huì)自動(dòng)裝上e2fsprogs,沒有的話就手動(dòng)yum裝一下好了
為lustre添加ib網(wǎng)卡:這一步很重要
sudo vim /etc/modprobe.d/lustre.conf #寫入以下內(nèi)容 options lnet networks="o2ib0(ib0)" sudo modprobe -v lustre 無error說明大功告成如何配置mgs,mdt,ost我會(huì)新開一個(gè)頁面來寫,不混在一起。(其實(shí)是我累了
client端
首先卸載已經(jīng)安裝了的infiniband
sudo yum remove neohost-backend sudo /sbin/ofed_uninstall.sh卸載已經(jīng)安裝了的lustre組件
sudo yum remove "*lustre*"請(qǐng)確認(rèn)沒有多刪之后再按y
添加lustre-client的yumrepo
sudo vim /etc/yum.repos.d/lustre-client.repo寫入
[lustre-client] name=Lustre Client gpgcheck=0 baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.12.0-ib/MOFED-4.5-1.0.1.0/el7/client/note:最好打開瀏覽器手動(dòng)核對(duì)url鏈接,確保與你的服務(wù)器版本對(duì)應(yīng)
安裝infiniband相關(guān)組件
sudo yum --enablerepo=lustre-client install "*OFED*" "*mlnx*" ibutils同樣,請(qǐng)檢查以上包來自于lustre-client而不是其他的鏡像源
啟動(dòng)ib
sudo modprobe -rv ib_isert rpcrdma ib_srpt sudo service openibd start關(guān)于infiniband的config與上一段相似
安裝lustre的client
sudo yum install kmod-lustre-client kmod-lustre-client-tests lustre-client lustre-client-debuginfo lustre-client-tests lustre-iokit pcp-pmda-lustre pcp-pmda-lustrecomm如果有一些奇怪的東西混進(jìn)來了,可以手動(dòng)指定版本號(hào)重新執(zhí)行yum install
為lustre添加ib網(wǎng)卡
sudo vim /etc/modprobe.d/lustre.conf #寫入以下內(nèi)容 options lnet networks="o2ib0(ib0)" sudo modprobe -v lustre無error說明大功告成
創(chuàng)建40個(gè)client并掛載上去(請(qǐng)確保服務(wù)器available,如果你還沒掛載mds與osd請(qǐng)不要這么做,沒有用)
這個(gè)chown user:group自己換一下
總結(jié)
以上是生活随笔為你收集整理的Yum安装支持InfiniBand的lustre——Install Lustre with InfiniBand Support By Yum的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: InfiniBand网络
- 下一篇: unity中dds文件不可被识别,需要改