大佬教程收集整理的这篇文章主要介绍了Kafka 详解(二)------集群搭建,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
这里通过 VMware ,我们安装了三台虚拟机,用来搭建 kafka集群,虚拟机网络地址如下:
hostname ipaddress subnet mask geteway
1、 master 192.168.146.200 255.255.255.0 192.168.146.2
2、 slave1 192.168.146.201 255.255.255.0 192.168.146.2
3、 slave2 192.168.146.202 255.255.255.0 192.168.146.2
官网下载地址:http://kafka.apache.org/downloads
由于 kafka 集群的运行需要 zookeeper,所以我们要首先进行 zookeeper 集群的搭建。
关于搭建的教程,我在上一篇@L_607_3@已经介绍了:https://www.cnblogs.com/ysocean/p/9860529.html
将下载的 kafka 压缩文件上传到集群中的每台机器相应目录,执行如下命令进行解压。
tar -zxf kafka_2.12-2.0.0.tgz
1 broker.id=0 2 listeners=PLAIntexT://192.168.146.200:9092 3 zookeeper.connect=192.168.146.200:2181,192.168.146.201:2181,192.168.146.202:2181
第一个 broker.id 后面的值和搭建 zookeeper 集群中 myid 一样,是一个集群中唯一的数,要求是正数。需要保证kafka集群中设置的都不一样。
第二个设置监听器,后面的 IP 地址对应当前的 ip 地址。
第三个是配置 zookeeper 集群的 IP 地址。
该@R_301_2023@的其余设置可以默认,具体会在后面@L_607_3@进行介绍。
/usr/local/software/kafka_2.12-2.0.0/bin/kafka-server-start.sh /usr/local/software/kafka_2.12-2.0.0/config/server.properties &
想要完全后台启动,执行如下命令:
/usr/local/software/kafka_2.12-2.0.0/bin/kafka-server-start.sh /usr/local/software/kafka_2.12-2.0.0/config/server.properties 1>/dev/null 2>&1 &
其中1>/dev/null 2>&1 是将命令产生的输入和错误都输入到空设备,也就是不输出的意思。/dev/null代表空设备。
执行完毕后,输入 jps ,出现 kafka 的进程,则证明启动成功。
集群启动成功后,我们通过创建一个名字为 test,partitions为3,Replication为3的topic。
进入到bin 目录下,执行如下命令:
./kafka-topics.sh --create --zookeeper 192.168.146.200:2181,192.168.146.202:2181 --partitions 3 --Replication-factor 3 --topic test
进入到 bin 目录下,执行如下命令:
./kafka-console-producer.sh --broker-list 192.168.146.200:9092,192.168.146.201:9092,192.168.146.202:9092 --topic test
输入 Hello kafka ,然后 enter 键,即向名为 test 的topic 发送了一条消息:Hello kafka
为了更好的看到上一步创建的 topic,以及发送的消息。这里介绍一个 kafka 可视化工具——Kafka Tools,官网下载地址:http://www.kafkatool.com/download.html
安装过程很简单,都是点击下一步即可。然后打开该工具,进行如下配置:
点击 File ---> Add cluster
然后点击有下家的 Add 按钮即可。
点开刚刚创建的连接,出现如下界面:
以上是大佬教程为你收集整理的Kafka 详解(二)------集群搭建全部内容,希望文章能够帮你解决Kafka 详解(二)------集群搭建所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。