本文共 2887 字,大约阅读时间需要 9 分钟。
本文搭建一个三节点的Kafka集群。该集群有三个Zookeeper、三个Kafka Broker。
解压kafka安装包,获得如下目录:
unzip kafka_2.11-0.11.0.1.zipkafka_2.11-0.11.0.1
Kafka目录结构:
cd kafka_2.11-0.11.0.1tree -L 1
展示如下内容:
.├── LICENSE├── NOTICE├── bin├── config├── libs├── logs└── site-docs
将目录切换到Kafka
的config
目录,要修改的主要是server.properties以及zookeeper.properties两个配置文件。
server.properties kafka配置文件zookeeper.properties zookeeper配置文件
对Kafka感兴趣的童鞋们可前往 了解Kafka常用配置属性详解。
修改zookeeper.properties
:
initLimit=10syncLimit=5dataDir=/Users/apple/Desktop/zookeeper # zookeeper的快照存储地址clientPort=2181 # zookeeper端口maxClientCnxns=0 # 单个客户端与单台服务器之间的连接数的限制server.1=IP1:2888:3888 # server.x中的x要与myid中的数字一致,2888用于follower与leader之间的数据同步与其他通信;3888用于leader选举时的通信。server.2=IP2:2889:3889server.3=IP3:2890:3890
Zookeeper配置详解可参考:
将目录切换到dataDir
目录,并创建myid文件,内容分别是1、2、3。注意myid的内容要与server.x
中的x相一致。
cd /Users/apple/Desktop/zookeepervim myid
三台机器都配置好zookeeper.properties
并创建myid
文件后,即可进行测试。依次在三台机器上执行如下命令,即可启动Zookeeper集群。
cd kafka_2.11-0.11.0.1 # 切换到你的Kafka目录nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
观察启动日志,确认启动无误。
搭建完Zookeeper集群后,Kafka集群的搭建就完成了一大半。下面我们来搭建Kafka集群:
在Kafka的config目录下创建文件server-cluster.properties
,在其中填写如下内容:
broker.id=1 # kafka broker的id,三个节点不能相同listeners=PLAINTEXT://:9094 # kafka所使用的端口log.dir=/tmp/kafka-logs # kafka日志路径zookeeper.connect=xxx,yyy,zzz # Zookeeper集群的地址列表,IP:PORT的形式,多个用,分隔
当然,这里server-cluster.properties
名称不是强制的,你可以叫其他名字;不仅如此,也可直接修改server.properties
。
依次在三台机器执行如下命令,启动Kafka
cd kafka_2.11-0.11.0.1 # 切换到你的Kafka目录bin/kafka-server-start.sh config/server-cluster.properties &
观察启动日志,确认启动无误。
创建一个Topic,其中的xxx、yyy、zzz是Zookeeper的地址,形式为IP:PORT
bin/kafka-topics.sh --create --zookeeper xxx,yyy,zzz --replication-factor 3 --partitions 1 --topic my-replicated-topic
我们现在已经搭建了一个Kafka集群,并创建了一个Topic,但我们如何知道每个broker在做什么呢?可使用describe topics
命令:
bin/kafka-topics.sh --describe --zookeeper xxx,yyy,zzz --topic my-replicated-topicTopic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,3,2 Isr: 1,3,2
其中,第一行是对所有partition的摘要,每个附加行给出了每个partition的详情,这里只有一个partition,所以只有一行。
leader是负责给定partition所有读写的节点,每个节点将称为partition随机选择部分的leader。
replicas是复制此partition日志的节点列表,无论它们是否leader,即使它们处于活动状态。
isr是一组in-sync
副本,这是replicas列表的子集,这些副本当前活动,并被引导到leader。
笔者按:isr常被翻译成“副本同步队列”。
leader、replicas、isr可参考:
创建一个生产者:
bin/kafka-console-producer.sh --broker-list kafka集群地址列表 --topic my-replicated-topic
地址为IP:PORT的形式,多个用逗号分隔
另启一个窗口,创建消费者:
bin/kafka-console-consumer.sh --bootstrap-server kafka地址 --from-beginning --topic my-replicated-topic
kafka地址为IP:PORT的形式,为Kafka集群中的任意一个节点。
在生产者窗口输入任意文字,看在消费者窗口能否接收。如果能正常接收,说明Kafka集群搭建成功。
参考笔者博客Kafka Manager管理Kafka集群:
转载地址:http://viezo.baihongyu.com/