Kafka 服务器参数配置

$KAFKA_HOME/config/server.properties⽂件中的配置

一、zookeeper.connect

该参数⽤于配置Kafka要连接的Zookeeper/集群的地址。

它的值是⼀个字符串,使⽤逗号分隔Zookeeper的多个地址。Zookeeper的单个地址是host:port形式的,可以在最后添加Kafka在Zookeeper中的根节点路径。

如:

zookeeper.connect=192.168.0.102:2181,192.168.0.103:2181,192.168.0.104:2181/myKafka

二、listeners

⽤于指定当前Broker向外发布服务的地址和端⼝。

advertised.listeners配合,⽤于做内外⽹隔离。

Kafka 服务器参数配置

内外⽹隔离配置

  1. listener.security.protocol.map 监听器名称和安全协议的映射配置。 ⽐如,可以将内外⽹隔离,即使它们都使⽤SSL。 listener.security.protocol.map=INTERNAL:SSL,EXTERNAL:SSL 每个监听器的名称只能在map中出现⼀次。
  2. inter.broker.listener.name ⽤于配置broker之间通信使⽤的监听器名称,该名称必须在advertised.listeners列表中。 inter.broker.listener.name=EXTERNAL
  3. listeners ⽤于配置broker监听的URI以及监听器名称列表,使⽤逗号隔开多个URI及监听器名称。 如果监听器名称代表的不是安全协议,必须配置 listener.security.protocol.map。 每个监听器必须使⽤不同的⽹络端⼝。
  4. advertised.listeners 需要将该地址发布到zookeeper供客户端使⽤,如果客户端使⽤的地址与listeners配置不同。 可以在zookeeper的 get /myKafka/brokers/ids/<broker.id></broker.id>中找到。 在IaaS环境,该条⽬的⽹络接⼝得与broker绑定的⽹络接⼝不同。 如果不设置此条⽬,就使⽤listeners的配置。跟listeners不同,该条⽬不能使⽤0.0.0.0⽹络端⼝。 advertised.listeners的地址必须是listeners中配置的或配置的⼀部分。

典型配置:

Kafka 服务器参数配置

三、broker.id

该属性⽤于唯⼀标记⼀个Kafka的Broker,它的值是⼀个任意integer值。

当Kafka以分布式集群运⾏的时候,尤为重要。

最好该值跟该Broker所在的物理主机有关的,如主机名为 host1.lagou.com,则 broker.id=1,如果主机名为 192.168.100.101,则 broker.id=101等等。

四、log.dirs

通过该属性的值,指定Kafka在磁盘上保存消息的⽇志⽚段的⽬录。

它是⼀组⽤逗号分隔的本地⽂件系统路径。

如果指定了多个路径,那么broker 会根据”最少使⽤”原则,把同⼀个分区的⽇志⽚段保存到同⼀个路径下。

broker 会往拥有最少数⽬分区的路径新增分区,⽽不是往拥有最⼩磁盘空间的路径新增分区。

Original: https://www.cnblogs.com/fanchengmeng/p/16278484.html
Author: 下半夜的风
Title: Kafka 服务器参数配置

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/571926/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 实战项目中Java heap space错误的解决

    部标GPS通讯系统在上线之后,经过不断调试,终于稳定运行一段时间,后来又遇到了Java heap space错误异常!日志如下: 说明系统中有未释放的对象。如何找出这些未释放对象以…

    Java 2023年6月9日
    058
  • JAVA学习过程记录(七)

    1.访问控制权限 范围从大到小排序: public >protected > 默认 > private 访问控制权限可以修饰什么? 属性(4个都能用) 方法(4个…

    Java 2023年6月7日
    075
  • 基于协同过滤算法实现选课推荐系统

    1.系统功能 1、用户账户管理2、学生个人信息的查看与修改3、学生的网上选课与课程的评分4、教师个人信息的查看与修改5、教师对学生课程评价结果的查看6、管理员对学生信息与教师信息的…

    Java 2023年6月8日
    0171
  • .net 爬虫框架技术选型

    个人认为爬虫框架分抓取框架和分析框架 1)抓取框架 .net 市面上好的似乎不多,选择要素分两种:1.轻量型,2.重量型。 轻量型是可以定制一些特殊的功能或者插件开关形式。总体性能…

    Java 2023年6月8日
    078
  • 20220929-ArrayList扩容机制源码分析

    示例代码 public class ArrayListSource { public static void main(String[] args) { ArrayList arr…

    Java 2023年6月15日
    066
  • Android JNI中C调用Java方法

    背景需求 我们需要在JNI的C代码调用Java代码。实现原理:使用JNI提供的反射借口来反射得到Java方法,进行调用。 JNI关键方法讲解。 在同一个类中,调用其他方法 JNIE…

    Java 2023年5月29日
    083
  • CentOS8:No URLs in mirrorlist

    问题 解决方案 更新源 sudo sed -i -e "s|mirrorlist=|#mirrorlist=|g" /etc/yum.repos.d/CentO…

    Java 2023年6月15日
    086
  • IO流(序列化流和反序列化流)

    序列化流:把对象按照流一样的方式存入文本文件或者在网络中传输。对象 — 流数据(ObjectOutputStream)* 反序列化流:把文本文件中的流对象数据或者网络中…

    Java 2023年6月5日
    070
  • Fork/Join框架

    404. 抱歉,您访问的资源不存在。 可能是网址有误,或者对应的内容被删除,或者处于私有状态。 代码改变世界,联系邮箱 contact@cnblogs.com 园子的商业化努力-困…

    Java 2023年6月7日
    068
  • Spring Cloud 教程

    Spring Cloud系列教程: 源码下载 Original: https://www.cnblogs.com/xifengxiaoma/p/11875426.htmlAutho…

    Java 2023年5月30日
    067
  • 入驻博客园

    入驻博客园啦!!!! posted @2022-02-15 20:12 技术那点事儿 阅读(4 ) 评论() 编辑 Original: https://www.cnblogs.co…

    Java 2023年6月7日
    0101
  • 继承中的初始化和加载

    继承关系中的执行顺序代码 package onjava8.extend; /** * &#x7EE7;&#x627F;&#x5173;&#x7CFB…

    Java 2023年6月15日
    076
  • 消息中间件MQ的学习境界和路线

    在《深入理解Java类加载机制,再也不用死记硬背了》里我提到了对于一门语言的”会”的三个层次。本篇将以知识地图的形式展现学习消息中间件MQ各个层次要掌握的内…

    Java 2023年5月30日
    0121
  • lambda表达式常用01

    1、 优化线程代码 以前我们使用线程可能是这么使用的: 使用lambda: 再次进行优化写法: 2.Arrays.sort 排序优化 在代码中,我们会使用Arrays.sort对数…

    Java 2023年6月9日
    086
  • Spring Boot使用AOP实现REST接口简易灵活的安全认证

    我们继续上一篇文章的分析,本文将通过AOP的方式实现一个相对更加简易 灵活的API安全认证服务。 我们先看实现,然后介绍和分析AOP基本原理和常用术语。 一、Authorized实…

    Java 2023年5月30日
    095
  • 根据表结构自动生成JavaBean,史上最强最专业的表结构转JavaBean的工具(第10版)

    第10版更新震撼发布,效率性能大提升,功能更加强大,速度过来围观,这次版本更新如下:1、新增数据库连接池并可以手动配置,提升数据库连接的使用效率。2、新增多线程并发处理并可以手动配…

    Java 2023年6月9日
    095
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球