windowskafka(windowskafka all log dirs in)
本篇文章给大家谈谈windowskafka,以及windowskafka all log dirs in对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。
本文目录一览:
- 1、windows系统下启动kafka CMD报错:输入行太长,语法错误
- 2、在Windows中 启动Kafka出现The Cluster ID doesn't match stored clusterId错误
- 3、win下qt编译librdkafka
- 4、windows 下远程连接kafka服务器并创建topic 部署服务
windows系统下启动kafka CMD报错:输入行太长,语法错误
在windows系统用cmd输命令:.\bin\windows\kafka-server-start.bat .\config\server.properties 启动kafka居然报错:输入行太长,语法错误,折磨了我一个小时棚亮。
在网上查到一个解决方法: 孝和伍kafka目录不要建太深,直接在放在D盘
巧或
在Windows中 启动Kafka出现The Cluster ID doesn't match stored clusterId错误
在Windows中安装Kafka成功,第一次启动也没有问题。可第二天再次启动,出现错误枣答纯,服务直举并接就退出了,错误信息如下:
感觉关键的问题meta.properties中是Cluster ID不匹配造成的,找了一下,在凳咐日志目录下发现了这个文件:
[img]win下qt编译librdkafka
windows 下使用梁穗 Qt 的 mingw81_64 编译 librdkafka , 生成橡判卜静态库。
librdkafka版本v1.8.2, 源码地址:
在pro/pri中导入静冲庆态库,需要注意:
示意如下(含win/linux):
windows 下远程连接kafka服务器并创建topic 部署服务
一.打包项目镜像:
利用Dockerfile 来打包项目的镜像
本次项目共依赖两个镜像(一个基础系统环境和一个项目镜像)
本次直接将Dockerfile写好后,用shell脚本build.sh启动打包:
然后切换到项目的目录下找到build.sh,运行即可打包项目镜像
若
报错:"failed to dial gRPC: cannot connect to the Docker daemon. Is 'docker daemon' running on this host?: dial unix /var/run/docker.sock: connect: permission denied
"
就用
出现以下说明打包成功,接下来可以开始部署:
注意:如果遇到只读权限不能修改时,将host文件复制一份到桌面,修改后在替换原来的host文件
在hosts文件末尾加上kafka服务器 !外网! 39. 0.25...地址,修改后的格式如下:
1.1注意: 修改阿里云服务器的hosts 文件来配宽辩顷置 kafka的服务器地址:
在hosts 文件最后加入:
添加的 kafka-server 就是以下创建topic命令中的 kafka-server别名,
监听远程kafka:新建消费者:
远程创建topic的实例:
查看远程已创建的topc:
本地:
远程修改后的kafka topic:
2.通过git Bash 切换到kafka客户端的bin目录:
桌面打开 gitBash,切换到本地kafka软件目录:
这里一定要切换为windows
3.查看已经有的topic
--topic 指定topic名字
--replication-factor 指定副本数,因为我的灶念是集群环境,这里副本数就为3
--partitions 指定分区数,这个参数需要根据broker数和数据量决定,正常情况下,每个broker上两个partition最好
注意:服务器部署时候一定要用内网172. .开头的,外部访问设为外网ip
不然会导致Kafka写入数据的时候报错 : TImeout
4.1本地docker创建topic:
4.2 本地windows 创建topic
进入本地软件路径KAFKA/BIN/WIONDOWS
创建topic
5.修改服务器的host:
一定要注意加sudo 不然会导致readonly 无法修改
在host 文件的末尾加上以下:
6.切换到工程部署的目录
7.清理redis,不然数据慎陆有残留:
7.1服务器上的redis挂载清除:
在 docker-compose.yml中注销这几行: 目的是每次启动不必记录上次没有执行完的数据.
这个是用来记录redis中假如上次指定的是1到100万块,没有执行完.下次接着执行没执行完的任务,测试时暂时关闭
7.2删除volume:
7.3 如果volume文件被占用时,先删除占用容器:
7.4 清除redis中的数据
进入redis容器中:
8.部署命令:
8.1开启docker可视化web上监控docker:
然后访问:
宿主机IP + 9000端口
8.2执行部署命令,启动服务:
9.部署时报错: yaml: line 46: did not find expected key
原因: docker-compose.yml文件中第46行 报错
解决:将所有数据对齐,不要有多余的空格.
关于windowskafka和windowskafka all log dirs in的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。