ubuntu18-04虚拟机搭建HTCondor集群(三)安装HTCondor
准备阶段
- 有用于搭建的多个虚拟机,且相互之间能ping通
- 虚拟机均能访问互联网
安装curl
apt-get update && apt-get install -y curl
根据角色安装htcondor
注意将命令中的$htcondor_password
换成登录密码(三个都要一样),$central_manager_name
换成将要设立中央节点的虚拟机ip
配置静态ip就是为了这一步
Central Manager
中心节点
sudo curl -fsSL https://get.htcondor.com | GET_HTCONDOR_PASSWORD=$htcondor_password /bin/bash -s -- --no-dry-run --central-manager $central_manager_name
Submit
提交节点
sudo curl -fsSL https://get.htcondor.com | GET_HTCONDOR_PASSWORD=$htcondor_password /bin/bash -s -- --no-dry-run --submit $central_manager_name
Execute
执行节点
sudo curl -fsSL https://get.htcondor.com | GET_HTCONDOR_PASSWORD=$htcondor_password /bin/bash -s -- --no-dry-run --execute $central_manager_name
安装成功之后开启服务
sh -c 'systemctl enable condor'
sh -c 'systemctl start condor'
关闭服务
sh -c 'systemctl stop condor'
可以用
pstree | grep condor
命令查看condor服务是否启动
查看是否安装成功和节点通信是否正常
安装完毕并且正常开启服务之后,提交机器上登录的用户应该能够通过condor_status
指令看到池中的执行机器:
1 | root@ylxy2:/home/ylxy2$ condor_status |
自定义角色功能
我们可以通过如下配置condor_config
来自定义各个节点的功能:
sudo vi /etc/condor/condor_config
根据不同的角色,请分别在主节点和从属节点上向condor_config
里面添加如下信息:
1 | DAEMON_LIST = COLLECTOR MASTER NEGOTIATOR SCHEDD STARTD # 中央节点 |
DAEMON_LIST
是分配具体功能的,推荐如下分配:中央管理节点(可提交可执行,一个pool中最多存在一个中央管理节点)
DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD中央管理节点(只提交不执行)
DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD提交与执行节点
DAEMON_LIST = MASTER, SCHEDD, STARTD提交节点
DAEMON_LIST = MASTER, SCHEDD执行节点
DAEMON_LIST = MASTER, STARTD
编辑完成后输入:wq
保存退出,然后通过condor_reconfig
更新配置:
1 | ylxy2@ylxy2:~$ condor_reconfig |
更新之后,我们通过condor_status
命令可以看到我们的pool中多了新的执行节点:
1 | ylxy2@ylxy2:~$ condor_status |
至此一个集群就搭建完啦,接下来我们就可以跑跑测试代码了。