kafka删除topic（kafka删除topic 被标记为删除）

本篇文章给大家谈谈kafka删除topic，以及kafka删除topic 被标记为删除对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、怎么彻底删除kafka的topic，然后重建
• 2、kafka 彻底删除topic
• 3、kafka操作日志管理

怎么彻底删除kafka的topic，然后重建

1、从zookeerer删除信息

./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper 10.0.1.10:2181,10.0.1.11:2181,10.0.1.12:2181 --topic test成弊睁功后返回信息：deletion succeeded!

2、利用JPS命令查看kafka和zookeeper进程，kill掉QuorumPeerMain和Kafka进程

3、从kafka的log.dirs目录删除文件，可以看到多个子目录名字如test-0,test-1…test-n（就是你topic的partition个数）

进入到kafka的log.dirs目录，执行

rm –fr test-0…毕饥…test-n(4) 修改日志目录的recovery-point-offset-checkpoint和replication-offset-checkpoint文件（要小心删除，否则待会kafka不能正常启动起来）

replication-offset-checkpoint格式如下：

4(partition总数)

test 0 0

test 3 0

hehe 0 0

hehe 1 0

修改后如下：

2(partition总数)

hehe 0 0

hehe 1 0

把含有test行全部去掉，并且手卜返把partition总数修改为减去test的partition的剩余数目，同理recovery-point-offset-checkpoint也是这样修改。

完成后就可以正常启动zookeeper和kafka。

kafka 彻底删除topic

[ocdp@kafka1 bin]$ /usr/hdp/2.6.0.3-8/kafka/bin/kafka-topics.sh --zookeeper znode1:2181 --delete --topic 悄谨   test_topic

Topic test_topic is marked for deletion.

Note: This will have no impact if delete.topic.enable is not set to true.

[ocdp@kafka1 bin]$

[ocdp@kafka1 bin]$ /usr/hdp/2.6.0.3-8/kafka/bin/kafka-topics.sh --zookeeper znode1:2181 --list

test_topic - marked for deletion

彻底删除topic ?

[ocdp@znode1 bin]$ export ZK_CLASSPATH=/码扮etc/zookeeper/conf/:/usr/hdp/current/zookeeper-server/lib/*:/usr/hdp/current/zookeeper-server/*

[ocdp@znode1 bin]$

[ocdp@znode1 bin]$ java -cp $ZK_CLASSPATH org.apache.zookeeper.server.auth.DigestAuthenticationProvider super:super123

super:super123-super:UdxDQl4f9v5oITwcAsO9bmWgHSI=

sudo  vim /usr/hdp/current/zookeeper-server/bin/zkServer.sh  添加 -Dzookeeper.DigestAuthenticationProvider.superDigest=super:UdxDQl4f9v5oITwcAsO9bmWgHSI=

重启启模基zookeeper

/usr/hdp/2.6.0.3-8/zookeeper/bin/zkCli.sh -server demo1:2181

[zk: demo1:2181(CONNECTED) 1] addauth digest super:super123

[img]

kafka操作日志管理

首先附上kafka 操作日志配置文件：log4j.properties

根据相应的需要设置日志。

其次 kafka默认打印GC日志，如下，

生产是不需要的 需要关掉，kafka home bin目录下面有个kafka-run-class.sh脚本 vim编辑一下

将参数滚物蔽 KAFKA_GC_LOG_OPTS=" " 设置为空格即可，重启kafka之后就不再打印GC日志了。

可以写个定时清理脚本来清除日志结合

crontab ：0 0 2 * * ? /home/cluster/kafka211/bin/cleanupkafkalog.sh

举例删除主题：t1205

(1)在kafka集群中删除topic，当前topic被标记成删除。

./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --delete --topic t1205

(2)在每台broker节点上删除当前这个topic对应的真实数据。

删蚂老除kafka相关的数据目录，数据目录请参考目标机器上的kafka配置：server.properties - log.dirs=/var/kafka/log/tmp

rm -r /var/kafka/log/tmp/t1205*

(3)进入zookeeper客户端，删大州除topic信息

rmr /brokers/topics/t1205

(4)删除zookeeper中被标记为删除的topic信息

rmr /admin/delete_topics/t1205

最后重启ZK和kafka集群，查看是否还有

./kafka-topics.sh --list --zookeeper node3:2181,node4:2181,node5:2181

关于kafka删除topic和kafka删除topic 被标记为删除的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。