kafka部署
版本选择:
Scala 2.12-kafka_2.12-2.7.0.tgz #版本格式 kafka_scala版本_kafka版本
部署三台服务器的高可用kafka环境
部署环境:
Server1: 192.168.154.167
Server2: 192.168.154.170
Server3: 192.168.154.171
wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz --no-check-certificatetar xf kafka_2.13-3.0.0.tgz -C /usr/local/
修改配置文件
cd /usr/local/kafka_2.13-3.0.0/configvim server.propertiesegrep -v "#|^$" server.properties broker.id=1 #有几个节点,改几个,不能重复listeners=PLAINTEXT://192.168.154.167:9092 #默认没有开启,取消注释,改成本机地址num.network.threads=3 #可以调高一点num.io.threads=8 #可以调高一点socket.send.buffer.bytes=102400socket.receive.buffer.bytes=102400socket.request.max.bytes=104857600log.dirs=/tmp/kafka-logs #虽然写着log,其实就是数据存放位置num.partitions=1num.recovery.threads.per.data.dir=1offsets.topic.replication.factor=1transaction.state.log.replication.factor=1transaction.state.log.min.isr=1log.retention.hours=168log.segment.bytes=1073741824log.retention.check.interval.ms=300000zookeeper.connect=192.168.154.167:2181,192.168.154.170:2181,192.168.154.171:2181 #有几个节点,写几个zookeeper.connection.timeout.ms=18000group.initial.rebalance.delay.ms=0
/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --create --zookeeper 192.168.154.167:2181,192.168.154.170:2181,192.168.154.171:2181 --partitions 3 --replication-factor 3 --topic luoluoPS:以前的版本
在较新版本(2.2 及更高版本)的 Kafka 不再需要 ZooKeeper 连接字符串,即- -zookeeper localhost:2181。使用 Kafka Broker的 –bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。
/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --create --bootstrap-server 192.168.154.167:9092 --replication-factor 3 --partitions 3 --topic luoluo/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --describe --bootstrap-server 192.168.154.167:9092 --topic luoluo
Original: https://www.cnblogs.com/luoluo160717/p/15750950.html
Author: 不用去猜。
Title: kafka-部署
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/611660/
转载文章受原作者版权保护。转载请注明原作者出处!