前期准备
安装好CentOS Linux 8 并升级完内核和软件包之后再进行Hadoop的安装。
参考文章:
1、知道Linux是怎么安装的吗?安装个CentOS Linux 8开始大数据开发
2、Linux内核怎么升级?升级有什么好处?CentOS8升级内核并开启BBR
手里有一台3年前的服务器Dell R620,上面安装了两路CPU型号是Xeon E5-2603 V2 1.8GHz,内存没有插满只有64GB,8个硬盘位插满共8块SAS硬盘。为了后续的测试方便,8块硬盘没有组RAID,在每块硬盘上放一个VMWare的CentOS Linux 8虚拟机。后续的所有的大数据相关的测试都是在这台服务器上进行。服务器配置不高,但是足够咱们在上面折腾各种服务了。
通过VMware将虚拟机分布在这8块硬盘上,模拟在一个机架上的8台服务器:
编号:/BJ0/LG0/hadoop221-228
其中:221-222:NameNode,223-228:DataNode
集群规划
集群规划如下:(服务器编号为hadoop221-hadoop228)
注:
1、NameNodes和zkfc一一对应;
2、DataNode和NodeManager都是works文件配置;
3、Zookeeper至少3个,必须奇数台;
4、journalnode至少3个,必须奇数;
5、NameNodes一个active另一个Standby;
6、ResourceManager一个active另一个Standby;
7、zkfc :DFSZKFailoverControlle作为一个ZK集群的客户端,用来监控NN的状态信息。
特别提示
我们以下所有操作都可以先在一台服务器上操作,完毕以后再将这个虚拟服务器复制成出来7份,完成最终的部署。
安装时间同步软件chrony
根据上面的集群规划,在221-228这8台服务器上安装chrony。从CentOS7开始已经默认使用chrony作为网络时间同步软件了,ntpd作为过时的产品,我们也就不在研究使用了。
若要安装使用Chrony,参考下面这篇文章:如何保证大数据开发的服务器时间同步?chrony服务安装与配置
配置时我们把服务端server都配置成192.168.1.222,这样后面复制出来的其它服务器就能直接在222服务器上获取时间了。
防火墙和SELINUX设置
因为Hadoop需要开启的端口很多,而且牵涉到很多的权限,所以我们在测试时将防火墙和SELINUX都关掉。
在生产环境中,需要针对不同的开放端口做针对性的设置。
关闭防火墙
运行以下命令,关闭防火墙
systemctl stop firewalld 禁止开机启动防火墙
systemctl status firewalld SELINUX配置文件
相关参数修改如下:
重启
getenforce 查看SELINUX的状态
显示如下内容,则说明SELINUX已经关闭了
hostname相关设置
运行下面的命令,修改本机的hostname:
hostnamectl set-hostname hadoop221 useradd hadoop
录入一遍&34;回车,再录入一遍&34;回车后将hadoop用户密码设置为&34;
#passwd hadoop
大数据开发钱的准备工作就做完了,后面就可以开始安装Zookeeper、Hadoop、HBase、Python和PHP等软件了。