kafka安装（kafka安装 windows）

本篇文章给大家谈谈kafka安装，以及kafka安装 windows对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、linux安装kafka
• 2、Mac下Kafka的安装和调试
• 3、Kafka 安装教程 + nodejs 连接
• 4、arm架构服务器kafka安装
• 5、Docker(单机Kafka安装)
• 6、Kafka Connect的安装和配置

linux安装kafka

Apache官网

tar -xzf kafka_2.10-0.8.2.2.tgz

cd kafka_2.10-0.8.2.2

KAFKA需要启动两个服务：

1，启动zookeeper： bin/zookeeper-server-start.sh config/zookeeper.properties (能在执行指令时退出操作)

2，启动kafka： bin/kafka-server-start.sh config/server.properties

1，创建topic

bin/kafka-topics.sh --create --zookeeper 10.202.4.179:2181 --replication-factor 1 --partitions 1 --topic test

创建一个名为test的topic，只有一个副本，一个分区。

2，宴闷羡创建生产者，启动producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

topic要对应之前晌拍创建罩桐的topic

之后便可以发送消息

3，创建消费者，启动consumer

bin/kafka-console-consumer.sh --zookeeper 10.202.4.179:2181 --topic test --from-beginning

topic要对应之前创建的topic

在生产者发送消息后，消费者便可以收到对应的消息了

[img]

Mac下Kafka的安装和调试

1、安装

brew install kafka

会一喊皮知起安装zookeeper和Kafka两个插件

2、文件路径

（1）Kafka的bin目录路径

/usr/local/Cellar/kafka/2.5.0/bin，里面包含Kafka的各种操作命令

kafka-server-start，服务启动命令

kafka-server-stop，服务停止命令

kafka-topics，主题操作命令

kafka-console-producer，生产消息命令

kafka-console-consumer，消费消息

（2）Kafka的配置文件路径

/握贺usr/local/etc/kafka

zookeeper.properties，zookeeper的配置文件

 server.properties，Kafka服务的配置文件

3、必须的前提修改Kafka的配置文件，否则后面的启动会失败

vim /usr/local/etc/kafka/server.properties

增加：listeners=PLAINTEXT://localhost:9092

其中有改行，默认被注释掉了，打开修改即可

4、打开新终端窗口1，进入Kafka的bin目录启动zookeeper服务

kafka-server-start /usr/local/etc/kafka/server.properties

都是info，没有报fatal或者error错误，即为启动成功。

如果不先修改第3步的配置文件，那么会报错如下

ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)

5、打开新终端窗口2，进入Kafka的bin目录启动Kafka资深的服务

kafka-server-start /usr/local/etc/kafka/server.properties

都是info，没有报fatal或者error错误，即为启动成功。

如果不先修改第3步的配置文件，那么会报错如下

ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)

6、打开新终端窗口3，进入Kafka的bin目录，新建topic主题test

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

出现：Created topic test. 表明建立topic成功

查看所有目前的topic，校验是否新建完毕

kafka-topics --list --zookeeper localhost:2181

会列出所有建立的topic

7、打开新终端窗口4，进入Kafka的bin目录，郑消打开生产者客户端，topic为test的主题

kafka-console-producer --topic test --broker-list localhost:9092

出现表示启动生产者客户端成功，等待输入生产者消息，输入消息，回车，即表示插入了一条消息到主题test的队列中

8、打开新终端窗口5，进入Kafka的bin目录，打开消费者客户端，topic为test的主题

kafka-console-consumer --bootstrap-server localhost:9092 -topic test   

等待显示生产者输入的消息，并同步显示出来

Kafka 安装教程 + nodejs 连接

1、kafka安装包

2、zookeeper安装包

1、先安装运行zookeeper

2、安装运吵拿行kafka

修改下图ip

advertised.listeners=PLAINTEXT://71.24.89.191:9092

这里主要是检测对应的端口是否是打开状态

分别是 zookeeper的默认端口 2181 和 kafka的 9092

检测网址

1、 添加

2、查看升散搭所有主题

3、查看主题掘毁下所有分区

4、动态 修改主题 分区为12

小伙伴们可以看我另一片文章

Nodejs kafka连接

1、内存不足

这里因为我的机器的内存比较小

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e0000000, 536870912, 0) failed; error='Cannot allocate memory' (errno=12)

There is insufficient memory for the Java Runtime Environment to continue.

Native memory allocation (mmap) failed to map 536870912 bytes for committing reserved memory.

我们只需要把kafka启动脚本修改一下就可以了

修改内存为256:

arm架构服务器kafka安装

主要操作在主机vcapp250上进行

编辑config/zookeeper.properties

编辑config/server.properties

编辑bin/kafka-run-class.sh

将安装目录蚂键拷山宏贝到剩余主机闷唯巧的对应目录中

启动zookeeper

启动kafka

Docker(单机Kafka安装)

KAFKA_ADVERTISED_HOST_NAME参数需要设置为宿主机地址(或服务器外网地址)

KAFKA_ZOOKEEPER_CONNECT参数设置zookeeper容器内部地镇尺启困冲址和端口,查看指令为docker inspect kafka_zk_net

1. 启动consumer发现: Error while fetching metadata with correlation id

修复步骤:

vi /opt/kafka/kafka/config/server.properties

添加:

kafka listeners和advertised配置

发现:Docker：bash: vi: command not found

停止kafka容器和重启

ps:如果你修改容器文件导致无法启动容器可以参考:

Docker容器无法启动,里面的配置文件如何修改

非内网连接,必须构建时指定御如端口和网址...测试了一下,修改是没用的,应该zookeeper已经存了元数据了..

Kafka Connect的安装和配置

       在使用Kafka Connect时，需要注意一些事项，以帮助你构建适应长期需求的datapipeline。本章旨在提供有关的一些上下文。

       要开始使用Kafka Connect，只有一个硬性的先决条件：一个Kafka的broker集群。然而，随着集群增长，有几个问题需要提前考虑：

       在开始之前，确定哪种模式最适合您的环境非常有用。 对于适合单个代理的环境（例如从web服务器向Kafka发送日志），standalone模式非常适合。在单个source或sink可能需要大量数据的用例中（例如，将数据从Kafka发送到HDFS），分布式模式在可伸缩性方面更加灵活，并提供了高可用性服务，从而最小化停机时间。

       Kafka Connect插件是一组jar文件，Kafka Connect可以在其中找到一个或多个connector、transform、以及converter的实现。Kafka Connect将每个插件彼此隔离，这样一个枣枯插件中的库就不会受到其他插件库的影响，这点非常重要旁罩。

Kafka Connect plugin是：

（1）在一个uber jar文件中包含插件及所有第三方依赖；或

（2）一个包含jar包和第三方依赖的目录。

       Kafka Connect使用plugin path找到插件，这是Kafka Connect在worker配置文件中定义的一个以逗号分隔的目录列表。要安装插件，请将目录或uber jar放在plugin path路径中列出的目录中。

        举个例子 ，我们在每台机器上创建一个/usr/local/share/kafka/plugins目录，然后将我们所有的插件jar或插件目录放入其中。然后在worker的配置文件中加入如下配置项：

       现在，当我们启动worker时，Kafka Connect可以发现这些插件中定义的所有connector、transform以及converter。Kafka Connect显式地避免了其他插件中的库， 并防止了冲突。

       如果要在同一个机器上运行多个standalone实例，有一些参数需要是独一无二的：

（1）offset.storage.file.filename：connector偏移量的存储。

（2）rest.port：用于监听http请求的rest接口所占用的端口。

       connector和task的配置，offsets和状态会存储在Kafka的内部主题中，Kafka Connect会自动创建这些主题，且所有topic都使用了压缩清理策略。

       如果要手动创建这些topic，推荐使用如下命令：

这里只列出一些有疑问的。

       配置了group.id的worker会自动发现彼此并形成集群。一个集群中的所有worker必须使用相同的三个Kafka topic来共享配置、偏移量以及状态，所有worker必须配置相同的config.storage.topic、offset.storage.topic以及status.storage.topic。

       每个converter实现类都有自运岩闹己的相关配置需求。下面的例子展示了一个worker属性文件，其中使用的AvroConverter需要将Schema Registry的url作为属性进行传递。

注意： 除了其配置覆盖这些配置的connector，worker上运行的所有connector都使用这些converter。

关于kafka安装和kafka安装 windows的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。