ubuntu18-04虚拟机搭建HTCondor集群(三)安装HTCondor
准备阶段
有用于搭建的多个虚拟机,且相互之间能ping通
虚拟机均能访问互联网
安装curl
apt-get update && apt-get install -y curl
根据角色安装htcondor
注意将命令中的$htcondor_password换成登录密码(三个都要一样),$central_manager_name换成将要设立中央节点的虚拟机ip
配置静态ip就是为了这一步
Central Manager中心节点
sudo curl -fsSL https://get.htcondor.com | GET_HTCONDOR_PASSWORD=$htcondor_password /bin/bash -s -- --no-dry-run --central-manager $central_manager_name
Submit提交节点
sudo curl -fsSL https://get.htcondor.com | GET_HTCONDOR_PASSWORD=$htcondor_password /bin/bash -s -- --no-dry ...
ubuntu18-04虚拟机搭建HTCondor集群(二)设置静态ip
为了方便我们使用,为虚拟机手动划分固定ip是很有必要的。整个过程分为以下两步:
在VMware上配置虚拟网络
打开VMware,打开编辑->虚拟网络编辑器,选中VMnet8,
修改虚拟机的网络配置
然后在VMware中,打开虚拟机设置(右键虚拟机,点击设置),将网络适配器更改为自定义的VMnet8(NAT模式)
在修改本地VMnet8网络
设置完毕后,打开系统控制面板->网络和共享中心->更改适配器设置,右键VMnet8,点击属性
将ip、网关设置为之前记录的,掩码一般默认225.225.225.0,DNS可以按照我的来设置
开启虚拟机,手动分配网络
以上设置完毕之后,开启虚拟机,编辑netplan下的配置文件:
1234ylxy1@ylxy1:~$ ls /etc/netplan00-installer-config.yamlylxy1@ylxy1:~$ sudo vi /etc/netplan/00-installer-config.yaml
按i进入编辑模式,将里面的内容替换为:(注意:多个虚拟机不能用同一ip,会有冲突)
12345678910 ...
ubuntu18.04虚拟机搭建HTCondor集群(一)安装server
准备阶段
Vmware Workstation
ubuntu18.04 Server版
点击链接下载x64
打开VMware,创建虚拟机
开启创建好的虚拟机之后,进入简易安装界面:
用UltraISO制作Ubuntu启动盘
准备阶段
安装UltralISO(软碟通):点击此处下载
ubuntu镜像文件:点击此处前往官网
U盘或其他移动存储介质
开始制作
1、插上U盘进行格式化
2、打开UltralISO,在文件->打开打开下载好的ubuntu.iso文件
3、找到启动->写入硬盘映像,将便捷启动改为写入新的驱动引导扇区->Syslinux,然后点击写入
4、写入成功!
校验码之海明码
为减少或避免数据在计算机系统内形成、存取或传输过程中产生的错误,除了提升相关硬件的可靠性之外,还可以在数据编码上采取检错,纠错的机制。因此,具有检错或纠错能力的数据校验码应运而生。
实现原理
数据校验码的实现原理,即在正常编码中加入一些冗余位,使得正常编码组中包含一些非法编码。当合法数据编码出现某些错误时,就变成了非法编码。因此,我们可以通过检查编码的合法性来达到错误检测,定位乃至改正的目的。
编码距离
我们通常将一组编码中任意两个编码之间代码不同的位数称为这两个编码的距离,也称海明距离。如$0011$与$0001$的海明距离为$1$。
判断一组编码有无查错、纠错能力只需判断其码距是否大于$1$。
码距与检错能力和纠错能力的关系
码距
校验码的检错能力/纠错能力
$d\ge e+1$
可检$e$个错
$d\ge2t+1$
可纠$t$个错
$d\ge e+t+1$且$e>t$
可检$e$个错且可纠$t$个错
奇偶校验码
奇偶校验又称垂直冗余校验。若采用奇校验,发送端发送一个字符编码($8$位编码含校验位),其中“$1$”的个数一定为奇数个。接收端即对 ...
Hadoop开发环境搭建(一)配置CentOS7虚拟机
一、安装VMware15 Pro
1.下载VMware15 Pro(非破解版)
点击此处下载VMware15 Pro
2.安装下载好的VMware(安装过程简单。。。一路next就行)
3.安装完成后运行(如图所示)
4.下载CentOS7镜像文件
阿里云站点:http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2003.iso
5.创建CentOS7虚拟机
在VMware主页点击“创建新的虚拟机”,会弹出一个新建虚拟机向导
导入刚刚下好的镜像文件,点击下一步
设置系统账户名与密码,设置完之后点击下一步
设置虚拟机名称与存放位置之后,点击下一步
设置虚拟机的硬盘大小,建议30G以上,设置完点击下一步
点击“自定义硬件”,设置内存大小(建议2G),设置完点击关闭
确认后点击完成
等待安装。。。
这里可以创建账户,也可以不创(未创建可用root登录)
安装完成后,启动系统
点击,在弹出的页面勾选“我接受”
设置系统语言
之后一路next,就可以愉快地玩耍啦(〃‘▽’〃)~~
机器学习笔记(二)模型评估与选择
经验误差与过拟合
分类错误的样本数占样本总数的比例称之为错误率(error rate)。若在$m$个样本中有$a$个被错误分类的样本,则其错误率为$E=\frac{a}{m}$。相对的,$1-E$则称为精度(accuracy)。同时,我们用误差(error)这一概念来度量学习器的预测输出与样本真实输出之间的差异。在训练集上的误差被称为训练误差或经验误差(empirical error);在新样本上的误差称为泛化误差。由于新样本的未知性,我们所应努力的方向为使学习器的经验误差达到最小。然而实际上在训练集上取得误差最小的学习器往往并不能成为我们最想要的那个。即使其分类精度达到100%,也不能表示能很好地适应新样本。
为了能让学习器在新样本上取得良好表现,我们应该从训练样本中尽可能地学习到适用于所有潜在样本的“普遍规律”,这样才能在遇到新样本时尽可能地做出正确选择。但这会出现以下两种状况:
学习器将训练集自身的一些特点当成所有样本都可能具有的一般性质来进行学习。这样会使得模型的泛化能力下降,从而引入过拟合(overfitting)的问题;
与过拟合相对的则是欠拟合(underf ...
机器学习笔记(一)基础知识
什么是机器学习?
机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能。
在计算机系统中,“经验”通常以数据的形式存在。因此机器学习研究的主要内容是关于在计算机上从数据中产生“模型”的算法,即学习算法(learning algorithm)。有了学习算法,我们将经验数据提供给它,它就能基于这些数据产生“模型”。模型能给我们提供相应的判断。
可以说机器学习是研究关于“学习算法”的学问。
Mitchell给出了一个更加形式化的定义:假设用$P$来评估计算机程序在某任务类$T$上的性能。若一个程序通过利用经验$E$在$T$中任务上获得了性能改善,则我们说关于$T$和$P$,该程序对$E$进行了学习。
模型and模式?
“模型”泛指从数据中学得的结果。有文献用“模型”指全局性结果(例如一棵决策树),而用“模式”指局部结果(如一条规则)。
基本术语
数据集(data set)
一组关于对象的记录的集合称为一个数据集,其中记录表示一个事件或一个对象的描述,称为示例(instance)或样本(sample)。反映事件或对象在某方面的表现或性质的事项称为特征(featur ...
Hello World
很高兴在2021年3月20日这一天搭建起我的个人博客!!!
本人将在其中更新我的学习经验帖。
俗话说好的开头就是成功的一半,希望自己能在接下来的一年半中完成自己的学习目标,考上理想的学校!