Centos 6/7安裝Torque(單節(jié)點(diǎn))**

1、 簡(jiǎn)介

PBS(Portable Batch System)最初由NASA的Ames研究中心開發(fā)，主要為了提供一個(gè)能滿足異構(gòu)計(jì)算網(wǎng)絡(luò)需要的軟件包單節(jié)點(diǎn)，用于靈活的批處理，特別是滿足高性能計(jì)算的需要，如集群系統(tǒng)、超級(jí)計(jì)算機(jī)和大規(guī)模并行系統(tǒng)。

PBS是功能最為齊全, 歷史最悠久, 支持最廣泛的本地集群調(diào)度器之一。PBS的主要特點(diǎn)有：代碼開放，免費(fèi)獲取；支持批處理、交互式作業(yè)和串行、多種并行作業(yè)，如MPI、PVM、HPF、MPL。

PBS的目前包括：openPBS, PBS Pro和Torque三個(gè)主要分支.

OpenPBS：是最早的PBS系統(tǒng), 目前已經(jīng)沒有太多后續(xù)開發(fā)

PBS pro：是PBS的商業(yè)版本, 功能最為豐富

Torque：是Clustering公司接過了OpenPBS, 并給與后續(xù)支持的一個(gè)開源版本

應(yīng)用PBS提交任務(wù)則會(huì)形成任務(wù)隊(duì)列，依次執(zhí)行，有效分配資源，避免資源競(jìng)爭(zhēng)。否則CPU時(shí)間片會(huì)輪流分配給各個(gè)人的任務(wù)，從而影響所有人的正常作業(yè)。本文主要說(shuō)明Torque的安裝與配置，通過編譯源代碼的方式安裝torque由于整個(gè)torque都被安裝在一臺(tái)計(jì)算機(jī)上，所以上述pbs_server、pbs_mom和pbs_sched都會(huì)被安裝在一起。

Torque主要由三個(gè)主要部件組成：

PBS服務(wù)守護(hù)進(jìn)程： pbs_server 負(fù)責(zé)接收作業(yè)提交，位于服務(wù)節(jié)點(diǎn)

PBS調(diào)度守護(hù)進(jìn)程： pbs_sched 負(fù)責(zé)調(diào)度作業(yè)，位于服務(wù)節(jié)點(diǎn)

PBS MOM守護(hù)進(jìn)程： pbs_mom 負(fù)責(zé)監(jiān)控本機(jī)并執(zhí)行作業(yè)，位于所有計(jì)算節(jié)點(diǎn)

2、軟件獲取

版本下載網(wǎng)址

torque-6.1.1.1	http://wpfilebase.s3.amazonaws.com/torque/torque-6.1.1.1.tar.gz
torque-6.1.2	http://wpfilebase.s3.amazonaws.com/torque/torque-6.1.2.tar.gz
官網(wǎng)下載	http://www.adaptivecomputing.com/support/download-center/torque-download

注：不同版本的安裝和配置類似，本文以torque-6.1.1.1為例。

3、系統(tǒng)信息的查詢

3.1 計(jì)算機(jī)核數(shù)查詢

lscpu: 此命令用來(lái)顯示cpu的相關(guān)信息(lscpu從sysfs和/proc/cpuinfo收集cpu體系結(jié)構(gòu)信息)

主要信息：
　　CArchitecture: #架構(gòu)PU(s)
　　Thread(s) per core: #每個(gè)核心線程
　　Core(s) per socket: #每個(gè)CPU物理核數(shù)
　　CPU socket(s): #cpu插槽數(shù)
　　Vendor ID: #cpu廠商ID
　　CPU family: #cpu系列
　　Model: #型號(hào)
　　Stepping: #步進(jìn)
　　CPU MHz: #cpu主頻
　　Virtualization: #cpu支持的虛擬化技術(shù)
注：總的Threads數(shù)量(CPU邏輯核數(shù)) = 2(Sockets) × 4(Core(s)) × 2(Threads) = 16(CPU(s)).

[root@master ~]# lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 16 On-line CPU(s) list: 0-15 Thread(s) per core: 2 Core(s) per socket: 4 Socket(s): 2 NUMA node(s): 2 Vendor ID: GenuineIntel CPU family: 6 Model: 44 Stepping: 2 CPU MHz: 2401.000 BogoMIPS: 4799.88 Virtualization: VT-x L1d cache: 32K L1i cache: 32K L2 cache: 256K L3 cache: 12288K NUMA node0 CPU(s): 0-3,8-11 NUMA node1 CPU(s): 4-7,12-15

或者用nproc直接查看邏輯核數(shù)。

[root@master ~]# nproc 16

3.2 系統(tǒng)IP和主機(jī)名查詢

hostname: 此命令用來(lái)顯示主機(jī)名稱。（默認(rèn)主機(jī)名為：localhost）
ifconfig -a|grep “inet addr”：此命令用來(lái)顯示主機(jī)IP。

[root@master ~]# hostname master [root@master ~]# ifconfig -a|grep "inet addr"inet addr:ip地址 Bcast:網(wǎng)關(guān) Mask:子網(wǎng)掩碼inet addr:127.0.0.1 Mask:255.0.0.0

3.3 更改主機(jī)名稱

CentOS 6 ：
需要更改兩處：一處是/etc/sysconfig/network，另一處是/etc/hosts，只修改任一處會(huì)導(dǎo)致系統(tǒng)啟動(dòng)異常，需要保持兩處一致。更改時(shí)需要切換到root用戶。

[root@master ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=master

更改HOSTNAME=后的內(nèi)容為master

[root@master ~]# vi /etc/hosts 127.0.0.1 master ###添加到此處##### 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

在首行添加：“127.0.0.1 master” 或者 “主機(jī)IP master"。
注意：修改上面兩個(gè)文件是永久的，重啟系統(tǒng)后才生效。

CentOS 7：
可以直接用命令修改：

[root@centos7 ~]# hostnamectl set-hostname master

注意：這也是永久生效，但是不會(huì)立刻生效，需重啟。
為避免重新啟動(dòng)可用“hostname”臨時(shí)修改主機(jī)名：

[root@centos7 ~]# hostname master [root@centos7 ~]# hostname master

master主機(jī)名立刻生效，但它只是臨時(shí)地修改主機(jī)名，系統(tǒng)重啟后會(huì)恢復(fù)原樣的。

4 、安裝和配置Torque

4.1 安裝Torque運(yùn)行環(huán)境和依賴庫(kù)

[root@master ~]# yum install libxml2-devel openssl-devel gcc gcc-c++ boost-devel libtool-y

4.2 Torque下載與解壓

[root@master ~]# wget http://wpfilebase.s3.amazonaws.com/torque/torque-6.1.1.1.tar.gz [root@master ~]# tar zxvf torque-6.1.1.1.tar.gz [root@master ~]# cd torque-6.1.1.1

4.2 Torque編譯與安裝

[root@master torque-6.1.1.1]# ./configure --prefix=/usr/local/torque --with-scp --with-default-server=master [root@master torque-6.1.1.1]# make -j [root@master torque-6.1.1.1]# make install [root@master torque-6.1.1.1]# make packages [root@master torque-6.1.1.1]# ./libtool --finish /usr/local/torque/lib

注意：prefix設(shè)置安裝路徑，with-default-server設(shè)置主機(jī)名，packages(打包)是為了方便于其他節(jié)點(diǎn)安裝

4.3 Torque配置

將contrib/init.d/目錄下的pbs_server、pbs_sched、pbs_mom、trqauthd添加到系統(tǒng)初始化簡(jiǎn)腳本/etc/init.d/中，并設(shè)置為開機(jī)啟動(dòng)。

[root@master torque-6.1.1.1]# cp contrib/init.d/{pbs_{server,sched,mom},trqauthd} /etc/init.d/ [root@master torque-6.1.1.1]# for i in pbs_server pbs_sched pbs_mom trqauthd; do chkconfig --add $i; chkconfig $ion; done

設(shè)置環(huán)境變量。

[root@master torque-6.1.1.1]# vi /etc/profile.d/torque.shTORQUE=/usr/local/torque export PATH=$PATH:/usr/local/torque/bin:/usr/local/torque/sbin ###添加后保存### [root@master torque-6.1.1.1]# source /etc/profile [root@master torque-6.1.1.1]# echo '/usr/local/lib' > /etc/ld.so.conf.d/torque.conf [root@master torque-6.1.1.1]# ldconfig

注意：ldconfig命令的用途主要是在默認(rèn)搜尋目錄/lib和/usr/lib以及動(dòng)態(tài)庫(kù)配置文件/etc/ld.so.conf內(nèi)所列的目錄下，搜索出可共享的動(dòng)態(tài)鏈接庫(kù)（格式如lib.so）,進(jìn)而創(chuàng)建出動(dòng)態(tài)裝入程序(ld.so)所需的連接和緩存文件。如果沒有這一步可能會(huì)出現(xiàn)libtorque.so.2庫(kù)文件找不到錯(cuò)誤。

將root設(shè)為Torque的管理賬戶

[root@master torque-6.1.1.1]# ./torque.setup root

安裝mom、client

[root@master torque-6.1.1.1]# ./torque-package-mom-*.sh --install [root@master torque-6.1.1.1]# ./torque-package-clients-*.sh --install

設(shè)置Torque（工作目錄為/var/spool/torque/）
a)設(shè)置服務(wù)器名：編輯/var/spool/torque/server_name文件

[root@master torque-6.1.1.1]# vi /var/spool/torque/server_namemaster

b)設(shè)置機(jī)群所有機(jī)器名和設(shè)置計(jì)算總核數(shù)：編輯/var/spool/torque/server_priv/nodes文件

[root@master torque-6.1.1.1]# vi /var/spool/torque/server_priv/nodesmaster np=16

c)設(shè)置MOM進(jìn)程配置文件：編輯 /var/spool/torque/mom_priv/config文件

[root@master torque-6.1.1.1]# vi /var/spool/torque/mom_priv/config$pbsserver master$logevent 255

啟動(dòng)pbs_server、pbs_sched、pbs_mom、trqauthd幾個(gè)服務(wù)

[root@master torque-6.1.1.1]# for i in pbs_server pbs_sched pbs_mom trqauthd; do service $i start; done

查看運(yùn)行情況

[root@master torque-6.1.1.1]# ps -e | grep pbs2800 ? 00:00:23 pbs_mom2968 ? 00:00:00 pbs_sched3277 ? 00:00:05 pbs_server

創(chuàng)建設(shè)置作業(yè)隊(duì)列

[root@master torque-6.1.1.1]# qmgr Max open servers: 9 Qmgr: create queue test Qmgr: set queue test queue_type = execution Qmgr: set queue test started = true Qmgr: set queue test enabled = true Qmgr: set queue test resources_default.walltime = 240:00:00 Qmgr: set queue test resources_default.nodes = 1 Qmgr: set server default_queue = test Qmgr: exit [root@master torque-6.1.1.1]#qstat -q ###查看隊(duì)列信息### server: masterQueue Memory CPU Time Walltime Node Run Que Lm State ---------------- ------ -------- -------- ---- --- --- -- ----- test -- -- -- -- 6 0 -- E R batch -- -- -- -- 0 0 -- E R----- -----6 0

注意：創(chuàng)建的隊(duì)列名稱為test
查看節(jié)點(diǎn)的狀態(tài)信息

[root@master torque-6.1.1.1]# qnodes masterstate = freepower_state = Runningnp = 16ntype = clusterjobs = 0-7/8.masterstatus = opsys=linux,uname=Linux master 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64,sessions=2424 2485 2641 2649 2751 2797 3257 3500 3504 3506 3518 3531 3552 3804 4571 4584 4630,nsessions=17,nusers=2,idletime=18777,totmem=36968804kb,availmem=35385368kb,physmem=24598892kb,ncpus=16,loadave=7.99,gres=,netload=608362704,state=free,varattr= ,cpuclock=OnDemand:2401MHz,version=6.1.1.1,rectime=1591878323,jobs=8.mastermom_service_port = 15002mom_manager_port = 15003

切換到user用戶提交任務(wù)

[root@master torque-6.1.1.1]# su user [user@master torque-6.1.1.1]$ echo sleep 30 | qsub 1.master [user@master torque-6.1.1.1]$ qstat Job ID Name User Time Use S Queue ------------------------- ---------------- --------------- -------- - ----- 1.master STDIN user 0 R test [luys@master torque-6.1.1.1]$ qstat -amaster: Req'd Req'd Elap Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time ----------------------- ----------- -------- ---------------- ------ ----- ------ --------- --------- - --------- 1.master user test STDIN 29590 1 1 -- 240:00:00 R 00:02:03

至此安裝成功！！！

總結(jié)

以上是生活随笔為你收集整理的Centos 6/7安装Torque(单节点)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。