kafka消费命令（kafka消费命令详解）

本篇文章给大家谈谈kafka消费命令，以及kafka消费命令详解对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Kafka | 常用命令行操作
• 2、关于kafka消费者的命令
• 3、Kafka常用命令行总结
• 4、Kafka 运行命令
• 5、五 通过命令行了解 Kafka消费者组

Kafka | 常用命令行操作

本次实验的kafka集群有三个节点，即有三团枣个broker。

Topic操塌猜拆作的执行脚本在bin目录下的 kafka-topics.sh

例子中创建名为first的topic，2个分区，2个副本。

创建后可分别在三个节点兆凳下，进入kafka的存放数据的目录，查看topic的创建情况：first-0和first-1是以topic名和分区号组成，代表了2个分区；每个分区副本都是2个，而且相同分区副本是放在不同的节点上的，例如first-0的副本在node01和node03节点上，first-1的副本在node01和node02上。

查看数据目录下的topic是否被删除：发现topic名称后面多了delete删除标志，不要着急，等过会来看这个topic就会被删除。

每输入一条消息，消费者窗口会显示生产者发出的消息

[img]

关于kafka消费者的命令

sh kafka-consumer-groups.sh --bootstrap-server "ip:端口,ip:端口,ip:端口" --group 订阅组 --describe

我在本地idea起了两个进程

那么CONSUMER-ID会有两个，但是CLIENT-ID依旧是一个。

怀晌差疑CLIENT-ID如果ip不同的话，会不同。那这样的话我重新打个jar包放到其他地方执行，是否就会显示不枯谨枣一样呢？

通过idea的

File --Project Structure --Artifacts -- Jar -- From module with dependencies.

Build -- Build Artifacts

等一通操作生成了jar包放没拆在了其他机器上跑

发现CLIENT-ID依然一样

另外测试过sh kafka-console-consumer.sh --bootstrap-server "xx" --topic xx

消费数据时，再使用sh kafka-consumer-groups.sh 来检查，并不会有关于CONSUMER-ID和CLIENT-ID，即没有识别到消费进程。

那看源码吧

Kafka常用命令行总结

以下是kafka常用命令行总结：

1.查看topic的详细信息

./kafka-topics.sh -zookeeper127.0.0.1:2181-describe -topic testKJ1

2、为topic增加副本

./kafka-reassign-partitions.sh -zookeeper127.0.0.1:2181-reassignment-json-file json/partitions-to-move.json -execute

3、创建topic

./kafka-topics.sh --create --zookeeper localhost:2181--replication-factor1--partitions1--topic testKJ1

4、为topic增加partition

./bin/kafka-topics.sh –zookeeper127.0.0.1:2181–alter –partitions20–topic testKJ1

5、kafka生产者客户端命令

./kafka-console-producer.sh --broker-list localhost:9092--topic testKJ1

6、kafka消费者客户端命令

./则伏kafka-console-consumer.sh -zookeeper localhost:2181--from-beginning --topic testKJ1

7、kafka服务启孙念携动

./kafka-server-start.sh -daemon ../config/server.properties

8、下线broker

./高禅kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper127.0.0.1:2181--broker #brokerId# --num.retries3--retry.interval.ms60

shutdown broker

9、删除topic

./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper127.0.0.1:2181

Kafka 运行命令

一、启动ZooKeeper

打开一个新终端并键入以下命令

二、要启动Kafka Broker，请键入以下命令

启动Kafka Broker后，在ZooKeeper终端上键入命令 jps ，您将看到以下响应

现在你可以看到两个守护进程运行在终端上，QuorumPeerMain是ZooKeeper守护进程，另一个是Kafka守护进程。

三、创建Kafka主题

四、主题列表

要获取Kafka服务器中的主题列表，可以使用以下命令

输出

五、启世盯动生产者以发送消息

六、启动消费者以接收消息

七、单节点多代理配置

创建多个Kafka Brokers，我们在配置/ server.properties中已有一个Kafka代理实例。 现在我们需要多个代理实例，因此将现有的server.prop-erties文搜带和件复制到两个新的配置文件中，并将其重命名为server-one.properties和server-two.properties。 然后编辑这两个新文件并分配以下更改

config / server-one.properties

创建主题

让我们为此主题将复制因子值指定为三个，因为我们有三个不同的代理运行。 如果您有两个代理，那么分配的副本值将是行袭两个。

Describe 命令用于检查哪个代理正在侦听当前创建的主题

输出

八、修改主题

五 通过命令行了解 Kafka消费者组

本文操作基于 Docker comopose构建的本地kafka集群

开启一个生饥仿拍产者

查看myConsumerGroup的信息，此时消费者组中只有一个消费者，它一个消费所有分区。

参数解释：

生产者生产第二条消息msg2，查看myConsumerGroup消费者组：

第三条消息：

第四条消息：

生产更多的消息：

查看myConsumerGroup，看到多了一个CONSUMER-ID. 说明这个消费者组中有2个消费者。

查看消费者组信息。消费2条之前：

消费2条之后: 可以看到两个消费者各消费一条

查看此时的myConsumerGroup信息，能看到4个CONSUMER-ID，由于这个topic有4个partition，刚好每个consumer消费一个相应烂羡的partition:

这时生产4条消息，可以看到这4个消费者各自消费了一条，因为它们属于同一个消费者组。

查看消费者组信息，可以看到增加消费者之后，虽然CONSUMER-ID发生了变化，但是依然是4个消费者对应4个分区：

此时生产者生产十多条消息，可以看到有一个消费者一直消费不到消息。这是因为partition个数为4，而消费者组中的消费者个数大简为5，超过了分区数，造成浪费了一个消费者资源。

多个消费者可以通过拥有同样的group id，组成一个消费者组。

一个消费者组中的消费者共同消费消息，某一个topic的同一消息只能被其中一个消费者消费。

关于kafka消费命令和kafka消费命令详解的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。