【KAFKA】使用星环大数据平台客户端操作kafka的topic
原创
WEL测试©著作权
文章标签 TDH-Client kafka topic 大数据 java 文章分类 Hadoop 大数据
©著作权归作者所有：来自51CTO博客作者WEL测试的原创作品，请联系作者获取转载授权，否则将追究法律责任
前置条件
从星环大数据平台下载kafka的配置文件。如下载的配置为kafka1，把该kafka1放入到/etc目录下并给kafka1目录进行如下赋权：
chmod 755 -R /etc/kafka1
配置环境变量
在对应用户的环境变量中添加如下内容：
export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka1/conf/jaas.conf -Djava.security.krb5.conf=/etc/kafka1/conf/krb5.conf -Dsun.security.krb5.debug=true"export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/etc/kafka1/conf/jaas.conf -Djava.security.krb5.conf=/etc/kafka1/conf/krb5.conf -Dsun.security.krb5.debug=true"
在consumer.properties、producer.properties添加如下内容
进入TDH-Client/kafka/config目录下找到consumer.properties、producer.properties，然后在两个文件中添加如下内内容：
security.protocol=SASL_PLAINTEXTsasl.mechanism=GSSAPIsasl.kerberos.service.name=kafka
使用TDH-Client操作kafka的Topic
以下所有命令都是在进入到TDH-Client/kafka/bin目录执行的。
创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --topic testwel --replication-factor 1 --partitions 1
./kafka-topics.sh --zookeeper localhost:2181 -describe -topic testwel
向主题写入数据
./kafka-console-producer.sh --broker-list localhost:9092 --topic testwel --producer.config ../config/producer.properties
hello.txt的内容如下：
1,2,3,41,2,3,41,2,3,41,2,3,41,2,3,4
./kafka-console-producer.sh --broker-list localhost:9092 --topic testwel --producer.config ../config/producer.properties < hello.txt
从主题读书据
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testwel --consumer.config ../config/consumer.properties --from-beginning
- 赞
- 收藏
- 评论
- *举报
下一篇：对大数据平台中表分析
Original: https://blog.51cto.com/u_15685799/5385744
Author: WEL测试
Title: 【KAFKA】使用星环大数据平台客户端操作kafka的topic
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/517398/
转载文章受原作者版权保护。转载请注明原作者出处！