kafka单机安装（kafka安装包）

## Kafka 单机安装教程

简介

Apache Kafka是一个分布式流处理平台，被广泛应用于构建实时数据管道和流应用程序。虽然Kafka通常在集群环境下运行以实现高可用性和可扩展性，但为了学习和测试目的，单机安装也是可行的。本教程将指导您如何在单机上安装并运行Kafka。 需要注意的是，单机安装仅适用于开发和测试环境，不适用于生产环境。### 一、 系统环境准备本教程以Linux系统为例，其他系统（如macOS）安装步骤类似，但可能需要调整部分命令。 建议使用64位操作系统。

JDK:

Kafka依赖Java，需要安装JDK 8或更高版本。 确保`JAVA_HOME`环境变量已正确设置。可以使用以下命令检查： `echo $JAVA_HOME`

磁盘空间:

预留足够的磁盘空间用于存储Kafka数据和日志。

用户:

建议使用非root用户进行安装，以增强安全性。### 二、 下载Kafka1.

访问Apache Kafka官网:

从Apache Kafka官网下载最新稳定版本的tar.gz压缩包。 [https://kafka.apache.org/downloads](https://kafka.apache.org/downloads)2.

解压:

将下载的压缩包解压到您选择的目录，例如`/opt/kafka`：```bashtar -xzf kafka_2.13-3.5.0.tgz -C /opt/cd /opt/kafka_2.13-3.5.0```(请将`kafka_2.13-3.5.0.tgz`替换成您下载的文件名)### 三、 配置Kafka1.

创建Kafka数据目录:

Kafka需要一个目录来存储其数据。 在`/opt/kafka_2.13-3.5.0/`目录下创建一个名为`data`的目录：```bashmkdir data```2.

配置server.properties:

修改`/opt/kafka_2.13-3.5.0/config/server.properties`文件，根据您的需求进行配置。 以下是一些关键配置项：

`broker.id`: 每个Kafka broker都需要一个唯一的ID。 对于单机安装，设置为`1`即可。

`listeners`: 指定Kafka监听的端口。 默认是`PLAINTEXT://:9092`。

`log.dirs`: 指定Kafka数据存储的目录。 设置为刚刚创建的`data`目录的绝对路径，例如`/opt/kafka_2.13-3.5.0/data`。

`zookeeper.connect`: 指定ZooKeeper连接地址。 对于单机安装，ZooKeeper也运行在同一台机器上，需要配置为`localhost:2181`。修改后的`server.properties`文件示例：```propertiesbroker.id=1listeners=PLAINTEXT://:9092log.dirs=/opt/kafka_2.13-3.5.0/datazookeeper.connect=localhost:2181```### 四、 启动ZooKeeperKafka依赖ZooKeeper进行协调。 在单机环境下，需要先启动ZooKeeper。1.

进入ZooKeeper目录:

`cd /opt/kafka_2.13-3.5.0/bin`2.

启动ZooKeeper:

`./zookeeper-server-start.sh ../config/zookeeper.properties` (保持该窗口运行)如果出现错误，请检查ZooKeeper配置文件`../config/zookeeper.properties`是否正确。### 五、 启动Kafka1.

仍然在`/opt/kafka_2.13-3.5.0/bin`目录下

2.

启动Kafka:

`./kafka-server-start.sh ../config/server.properties` (保持该窗口运行)### 六、 验证Kafka是否启动成功可以使用以下命令验证Kafka和ZooKeeper是否正常运行：

查看Kafka日志:

查看`/opt/kafka_2.13-3.5.0/log`目录下的日志文件。 如果启动成功，将看到相应的日志信息。

使用kafka-topics命令:

可以使用`kafka-topics.sh`命令查看topic信息。 例如： `./kafka-topics.sh --list --bootstrap-server localhost:9092`### 七、 关闭Kafka和ZooKeeper1.

关闭Kafka:

`./kafka-server-stop.sh ../config/server.properties`2.

关闭ZooKeeper:

`./zookeeper-server-stop.sh ../config/zookeeper.properties`### 八、 总结本教程提供了在单机环境下安装和运行Kafka的完整步骤。 记住，单机安装仅用于开发和测试目的，不建议用于生产环境。 生产环境下，建议使用多机集群部署以提高可用性和性能。 请根据实际情况调整配置参数。 如有疑问，请参考Apache Kafka官方文档。

Kafka 单机安装教程**简介**Apache Kafka是一个分布式流处理平台，被广泛应用于构建实时数据管道和流应用程序。虽然Kafka通常在集群环境下运行以实现高可用性和可扩展性，但为了学习和测试目的，单机安装也是可行的。本教程将指导您如何在单机上安装并运行Kafka。 需要注意的是，单机安装仅适用于开发和测试环境，不适用于生产环境。

一、 系统环境准备本教程以Linux系统为例，其他系统（如macOS）安装步骤类似，但可能需要调整部分命令。 建议使用64位操作系统。* **JDK:** Kafka依赖Java，需要安装JDK 8或更高版本。 确保`JAVA_HOME`环境变量已正确设置。可以使用以下命令检查： `echo $JAVA_HOME`* **磁盘空间:** 预留足够的磁盘空间用于存储Kafka数据和日志。* **用户:** 建议使用非root用户进行安装，以增强安全性。

二、 下载Kafka1. **访问Apache Kafka官网:** 从Apache Kafka官网下载最新稳定版本的tar.gz压缩包。 [https://kafka.apache.org/downloads](https://kafka.apache.org/downloads)2. **解压:** 将下载的压缩包解压到您选择的目录，例如`/opt/kafka`：```bashtar -xzf kafka_2.13-3.5.0.tgz -C /opt/cd /opt/kafka_2.13-3.5.0```(请将`kafka_2.13-3.5.0.tgz`替换成您下载的文件名)

三、 配置Kafka1. **创建Kafka数据目录:** Kafka需要一个目录来存储其数据。 在`/opt/kafka_2.13-3.5.0/`目录下创建一个名为`data`的目录：```bashmkdir data```2. **配置server.properties:** 修改`/opt/kafka_2.13-3.5.0/config/server.properties`文件，根据您的需求进行配置。 以下是一些关键配置项：* `broker.id`: 每个Kafka broker都需要一个唯一的ID。 对于单机安装，设置为`1`即可。* `listeners`: 指定Kafka监听的端口。 默认是`PLAINTEXT://:9092`。* `log.dirs`: 指定Kafka数据存储的目录。 设置为刚刚创建的`data`目录的绝对路径，例如`/opt/kafka_2.13-3.5.0/data`。* `zookeeper.connect`: 指定ZooKeeper连接地址。 对于单机安装，ZooKeeper也运行在同一台机器上，需要配置为`localhost:2181`。修改后的`server.properties`文件示例：```propertiesbroker.id=1listeners=PLAINTEXT://:9092log.dirs=/opt/kafka_2.13-3.5.0/datazookeeper.connect=localhost:2181```

四、 启动ZooKeeperKafka依赖ZooKeeper进行协调。 在单机环境下，需要先启动ZooKeeper。1. **进入ZooKeeper目录:** `cd /opt/kafka_2.13-3.5.0/bin`2. **启动ZooKeeper:** `./zookeeper-server-start.sh ../config/zookeeper.properties` (保持该窗口运行)如果出现错误，请检查ZooKeeper配置文件`../config/zookeeper.properties`是否正确。

五、 启动Kafka1. **仍然在`/opt/kafka_2.13-3.5.0/bin`目录下**2. **启动Kafka:** `./kafka-server-start.sh ../config/server.properties` (保持该窗口运行)

六、 验证Kafka是否启动成功可以使用以下命令验证Kafka和ZooKeeper是否正常运行：* **查看Kafka日志:** 查看`/opt/kafka_2.13-3.5.0/log`目录下的日志文件。 如果启动成功，将看到相应的日志信息。* **使用kafka-topics命令:** 可以使用`kafka-topics.sh`命令查看topic信息。 例如： `./kafka-topics.sh --list --bootstrap-server localhost:9092`

七、 关闭Kafka和ZooKeeper1. **关闭Kafka:** `./kafka-server-stop.sh ../config/server.properties`2. **关闭ZooKeeper:** `./zookeeper-server-stop.sh ../config/zookeeper.properties`

八、 总结本教程提供了在单机环境下安装和运行Kafka的完整步骤。 记住，单机安装仅用于开发和测试目的，不建议用于生产环境。 生产环境下，建议使用多机集群部署以提高可用性和性能。 请根据实际情况调整配置参数。 如有疑问，请参考Apache Kafka官方文档。