hadoop进程（hadoop进程少了dateNode）

## Hadoop 进程### 简介Hadoop 是一个开源的分布式计算框架，用于存储和处理大数据集。它基于 Google 的 MapReduce 和 Google 文件系统（GFS）论文。Hadoop 的核心组件包括 Hadoop 分布式文件系统（HDFS）和 Hadoop MapReduce 计算模型。为了实现这些功能，Hadoop 运行各种进程，这些进程协同工作以管理数据和执行计算任务。### Hadoop 守护进程Hadoop 守护进程是在 Hadoop 集群中持续运行的后台进程，负责管理各种 Hadoop 服务。主要分为两类：

HDFS 守护进程:

负责管理和维护 HDFS。

YARN 守护进程:

负责资源管理和作业调度。#### 1. HDFS 守护进程

NameNode:

集群的主节点，维护文件系统的命名空间，记录文件块的位置信息。

只有一个 NameNode，是 HDFS 的核心，维护文件系统树及所有文件和目录的元数据。

不会存储实际的数据块，只存储数据块的元数据，例如文件名、文件权限、文件块大小和位置等。

维护 fsimage (文件系统镜像) 和 edits log (编辑日志) 来确保元数据的一致性和持久性。

DataNode:

从节点，负责存储实际的数据块，并执行读写操作。

集群中通常有多个 DataNode，它们分布在不同的机器上。

定期向 NameNode 发送心跳信号，报告自身状态和存储的块信息。

接收来自客户端和 NameNode 的读写请求。

Secondary NameNode:

辅助 NameNode，并非 NameNode 的备份。

定期合并 fsimage 和 edits log，生成新的 fsimage 文件，减轻 NameNode 的负担，缩短重启时间。

在 NameNode 发生故障时，可以结合最新的 fsimage 和 edits log 恢复部分元数据，但并不能完全替代 NameNode。#### 2. YARN 守护进程

ResourceManager:

集群的主节点，负责管理集群的资源（CPU、内存、网络等）和调度应用程序。

只有一个 ResourceManager，监控 NodeManager 的健康状况，并为应用程序分配资源。

NodeManager:

从节点，负责管理单个节点上的资源，并执行 ResourceManager 分配的任务。

集群中通常有多个 NodeManager，它们分布在不同的机器上。

启动和监控 Container，Container 是运行应用程序任务的基本单元。

定期向 ResourceManager 发送心跳信号，报告节点资源使用情况。

ApplicationMaster:

每个应用程序都有一个 ApplicationMaster，负责协调应用程序的执行。

向 ResourceManager 申请资源，并将任务分配给 NodeManager 上的 Container 执行。

监控任务的执行进度，并在任务失败时重新启动任务。### 其他相关进程除了上述核心守护进程外，Hadoop 生态系统中还有一些其他重要的进程：

JobHistoryServer:

存储已完成作业的历史信息，方便用户查看和分析。### 总结Hadoop 的各种进程协同工作，构成了一个强大的分布式计算平台。理解这些进程的功能和作用对于管理和维护 Hadoop 集群至关重要。 通过合理的配置和管理这些进程，可以充分发挥 Hadoop 的性能，高效地处理大规模数据。

Hadoop 进程

简介Hadoop 是一个开源的分布式计算框架，用于存储和处理大数据集。它基于 Google 的 MapReduce 和 Google 文件系统（GFS）论文。Hadoop 的核心组件包括 Hadoop 分布式文件系统（HDFS）和 Hadoop MapReduce 计算模型。为了实现这些功能，Hadoop 运行各种进程，这些进程协同工作以管理数据和执行计算任务。

Hadoop 守护进程Hadoop 守护进程是在 Hadoop 集群中持续运行的后台进程，负责管理各种 Hadoop 服务。主要分为两类：* **HDFS 守护进程:** 负责管理和维护 HDFS。 * **YARN 守护进程:** 负责资源管理和作业调度。

1. HDFS 守护进程* **NameNode:*** 集群的主节点，维护文件系统的命名空间，记录文件块的位置信息。* 只有一个 NameNode，是 HDFS 的核心，维护文件系统树及所有文件和目录的元数据。* 不会存储实际的数据块，只存储数据块的元数据，例如文件名、文件权限、文件块大小和位置等。* 维护 fsimage (文件系统镜像) 和 edits log (编辑日志) 来确保元数据的一致性和持久性。* **DataNode:*** 从节点，负责存储实际的数据块，并执行读写操作。* 集群中通常有多个 DataNode，它们分布在不同的机器上。* 定期向 NameNode 发送心跳信号，报告自身状态和存储的块信息。* 接收来自客户端和 NameNode 的读写请求。* **Secondary NameNode:*** 辅助 NameNode，并非 NameNode 的备份。* 定期合并 fsimage 和 edits log，生成新的 fsimage 文件，减轻 NameNode 的负担，缩短重启时间。* 在 NameNode 发生故障时，可以结合最新的 fsimage 和 edits log 恢复部分元数据，但并不能完全替代 NameNode。

2. YARN 守护进程* **ResourceManager:*** 集群的主节点，负责管理集群的资源（CPU、内存、网络等）和调度应用程序。* 只有一个 ResourceManager，监控 NodeManager 的健康状况，并为应用程序分配资源。* **NodeManager:*** 从节点，负责管理单个节点上的资源，并执行 ResourceManager 分配的任务。* 集群中通常有多个 NodeManager，它们分布在不同的机器上。* 启动和监控 Container，Container 是运行应用程序任务的基本单元。* 定期向 ResourceManager 发送心跳信号，报告节点资源使用情况。* **ApplicationMaster:*** 每个应用程序都有一个 ApplicationMaster，负责协调应用程序的执行。* 向 ResourceManager 申请资源，并将任务分配给 NodeManager 上的 Container 执行。* 监控任务的执行进度，并在任务失败时重新启动任务。

其他相关进程除了上述核心守护进程外，Hadoop 生态系统中还有一些其他重要的进程：* **JobHistoryServer:** 存储已完成作业的历史信息，方便用户查看和分析。

总结Hadoop 的各种进程协同工作，构成了一个强大的分布式计算平台。理解这些进程的功能和作用对于管理和维护 Hadoop 集群至关重要。 通过合理的配置和管理这些进程，可以充分发挥 Hadoop 的性能，高效地处理大规模数据。