第16章 KAFKA基本操作
首先开始实现” 单个单节点中间件(single node-single broker)“配置，然后将设置迁移到单个多节点中间件配置。
机器上已经安装 Java、 ZooKeeper和 Kafka。 在迁移到 kafka集群之前，首先需要启动 ZooKeeper，因为 Kafka集群依赖于 ZooKeeper。
打开一个新的终端，输入命令：
启动kafka中间件，输入如下命令：
在启动kafka中间件后，在zookeeper终端输入命令” jsp“,，将看到如下响应信息：
响应信息将看到如下，有运行在终端上的两个进程：运行在zookeeper的QuorumPeerMain、kafka。
在配置信息中设置单个zookeeper和中间件id实例。配置步骤如下：
创建一个kafka Topic：kafka提供一个命令行集合文件叫 “kafka-topics.sh”，通过文件在服务器上创建topics。打开信息的终端，下面创建topic的句法和例子：
语法：
例子：
创建一个名为”Hello-Kafka”的Topic，该Topic带有一个分区、一个复制因子。命令执行成功后，会有类似于下面的输出：
输出：
一旦topic被创建，在kafka中间件窗口获得通知，在config / server.properties文件中的”/ tmp / kafka-logs /”中指定的已创建topic的日志。
如果想获取kafka服务中topics列表，下面获取topics列表的语法和例子如下：
语法：
输出：
由于之前创建了一个topic，所以输出列表只有” Hello-Kafka“。假如，如果创建多个topics，在输出文件列表中会获得topic名字。
语法：
从上面的语法，两个主要参数通过消费者命令行客服端请求：
broken-list:发送信息到中间件列表。在这个例子中，只有一个中间件。Config/server.properties文件包含中间件端口id，由于中间件监听端口9092，所以可以直接指定该中间件。
topic name：如下有个例子
例子：
生产者将等待来自stdin的输入并发布到Kafka集群。 默认情况下，每个新行都作为新消息发布，然后在” config /producer.properties“文件中指定默认的生产者属性。现在，可以在终端中键入几行消息，如下所示。
输出：
和生产者类似，在” config/consumer.properties“文件中指定默认消费者属性。打开一个新的终端，同时键入以下消耗消息的语法：
语法：
例子:
输出：
最后，可以从生产者的终端输入消息，并看到输入的消息出现在消费者的终端。 到目前为止，对于具有单个中间件的单节点群集有非常好的了解。 现在继续讨论多个代理配置。
在进行多中间件集群设置时，首先启动zookeeper服务。
创建多个kafka中间件(broker):在 config/server.properties文件有之前创建的一个kafka中间件实例。现在需要多个中间件实例，复制存在的 server.properties文件进入两个新的配置文件并给配置文件重命名为： server-one.properties 、server-two.prop-erties。编辑新文件并做如下修改：
server-one.properties：
server-two.properties：
现在，存在三个不同中间件运行在机器上。在zookeeper终端键入”jsp”命令，查看响应值。
为此topic将复制因子值指定为三个，因为我们有三个不同的代理运行。如果有两个Broker，那么分配的副本值将是两个。
语法：
例子：
输出：
Describe命令用于检查哪个中间件正在监听当前创建的主题，如下所示：
输出：
从上面的输出，可以得出结论：第一行给出所有分区的摘要，显示Topic名称，分区数量和已经选择的复制因子；在第二行中，每个节点将是分区的随机选择部分的领导者。
在例子中，看到第一个broker（broker.id 0）是领导者。然后Replicas：0,2,1意味着所有的中间件复制topic最后的”Isr”是”in-sync”副本的集合。当前活着的副本的子集并被领导者捕获。
这个过程和单个中间件设置一样。
例子：
输出：
这个过程和单个中间件设置一样。
例子：
输出：
语法：
例子：
语法：
例子：
输出：
Note：如果 delete.topic.enable没有被设置为True，这个命令将没有任何效果
Original: https://blog.51cto.com/u_15685799/5385801
Author: WEL测试
Title: 大数据学习笔记——————-(16)
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/517346/
转载文章受原作者版权保护。转载请注明原作者出处！