前言
前一章讲解了Hadoop3.1.1高可用ha安装部署第一步,Hadoop相关的配置信息,本章,为大家讲解Zookeeper的配置。
Zookeeper是Hadoop的一个组件,它在分布式系统中起到协调的作用。可以提供的服务主要有:配置服务、名字服务、分布式同步、组服务等。它具有简单性、丰富性、高可靠性、松耦合交互性等特点。
以下是Zookeeper在Hadoop集群中,进行高可用性配置的详细内容。
注:根据前一章的角色分配图,本次配置,将Zookeeper安装在node02,node03,node04节点上。主要在node02节点上进行配置,然后配置信息分发到node03、node04节点。本次使用的Zookeeper版本为:3.4.6。
1. 上传Zookeeper,并解压。
本次上传目录为/opt/zookeeper目录下。
tar -zxvf zookeeper-3.4.6.tar.gz
2. 配置环境变量
打开profile配置文件
vi /etc/profile
添加ZOOKEEPER_HOME环境变量,并将其添加到PATH中
export ZOOKEEPER_HOME=/opt/zookeeper/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
使配置文件生效
source /etc/profile
分发 /etc/profile 至node03,node04,同时,在node03及node04节点,使其生效。
scp /etc/profile node03:/etc/
scp /etc/profile node04:/etc/
分别在node03,node04节点上执行source命令。
配置Zookeeper
进入Zookeeper的配置目录
cd /opt/zookeeper/zookeeper-3.4.6/conf/
将zoo_sample.cfg重命名为zoo.cfg
mv zoo_sample.cfg zoo.cfg
编辑zoo.cfg
vi zoo.cfg
修改dataDir=/var/zookeeper,并添加如下配置项:
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
分发zookeeper
scp -r zookeeper/ root@node03:`pwd`
scp -r zookeeper/ root@node04:`pwd`
创建zookeeper目录并将服务器id保存到myid下
mkdir /var/zookeeper
echo 1 > /var/zookeeper/myid #在node02节点为1,node03节点为2,node04节点为3,跟上面配置信息要一致
注意,node02节点的pid为1,node03节点的pid为2,node04的pid为3
启动Zookeeper(每个节点都需要启动)
zkServer.sh start
常用Zookeeper命令
查看Zookeeper各节点状态
zkServer.sh status
停止Zookeeper
zkServer.sh stop
总结
至此,Zookeeper已经配置完毕,并成功启动。特别需要注意myid的配置,每个节点是不一样的。