hadoop由什么组成（hadoop的组成和工作原理）

## Hadoop 组成详解### 简介 Hadoop 是一个开源的分布式计算框架，用于存储和处理大规模数据集。它基于 Google 发布的 MapReduce 和 Google 文件系统（GFS）的论文设计，并使用 Java 语言实现。Hadoop 的核心组件包括存储系统和计算引擎，它们共同协作，实现了高效、可靠的大数据处理能力。### Hadoop 主要组件Hadoop 主要由以下四个核心组件组成:1.

Hadoop 分布式文件系统 (HDFS)

2.

Hadoop YARN

3.

Hadoop MapReduce

4.

Hadoop Common

#### 1. Hadoop 分布式文件系统 (HDFS)HDFS 是 Hadoop 的存储组件，负责存储海量数据。它采用主从架构，主要由以下组件构成：

NameNode:

集群的主节点，负责管理文件系统的命名空间和数据块的映射关系。

维护文件系统树及所有文件和目录的元数据，例如：文件名称、权限、修改时间等。

记录每个数据块在 DataNode 上的存储位置。

DataNode:

集群的从节点，负责存储实际的数据块。

根据 NameNode 的指令执行数据块的读写操作。

定期向 NameNode 发送心跳信息，汇报自身状态和数据块信息。

Secondary NameNode:

辅助 NameNode 进行元数据的备份和恢复。

定期从 NameNode 获取最新的元数据镜像文件和操作日志，合并生成新的元数据镜像文件。

在 NameNode 发生故障时，可以利用 Secondary NameNode 上的元数据信息进行恢复。#### 2. Hadoop YARN (Yet Another Resource Negotiator)YARN 是 Hadoop 的资源管理和调度组件，负责管理集群资源，并为应用程序分配资源。它主要由以下组件构成:

ResourceManager:

集群的主节点，负责管理整个集群的资源，包括内存、CPU、磁盘等。

接收来自应用程序的资源请求，并根据资源使用情况进行调度。

NodeManager:

集群的从节点，负责管理单个节点的资源。

与 ResourceManager 通信，汇报节点的资源使用情况。

根据 ResourceManager 的指令启动和停止应用程序的容器。

ApplicationMaster:

每个应用程序对应一个 ApplicationMaster，负责管理应用程序的生命周期。

向 ResourceManager 申请资源，并与 NodeManager 通信，启动和监控应用程序的任务。

Container:

YARN 中资源分配的基本单位，可以理解为一个运行应用程序任务的进程。

每个 Container 都有一定的资源限制，例如内存、CPU 等。#### 3. Hadoop MapReduceMapReduce 是 Hadoop 的计算组件，是一种并行编程模型，用于处理大规模数据集。它主要包含两个阶段：

Map 阶段:

将输入数据切片成多个独立的数据块，每个 Map 任务处理一个数据块。

Map 任务对数据进行处理，生成键值对形式的中间结果。

Reduce 阶段:

将 Map 阶段生成的中间结果按照键进行分组，每个 Reduce 任务处理一个分组。

Reduce 任务对相同键的中间结果进行汇总、计算，生成最终结果。#### 4. Hadoop CommonHadoop Common 提供了 Hadoop 生态系统中其他模块所需的通用工具和库，包括：

文件系统抽象层:

提供了访问不同文件系统的统一接口，例如 HDFS、本地文件系统等。

远程过程调用 (RPC):

用于不同节点之间的进程通信。

序列化和反序列化:

用于在网络上传输数据。

压缩库:

用于压缩和解压缩数据。### 总结Hadoop 通过 HDFS、YARN、MapReduce 和 Common 这四大组件的协同工作，实现了高效、可靠的大数据存储和处理能力。HDFS 负责数据的存储，YARN 负责资源的管理和调度，MapReduce 负责数据的计算，Common 提供了基础的工具和库。 这些组件共同构成了 Hadoop 生态系统的基础，并为上层应用提供了强大的支持。

Hadoop 组成详解

简介 Hadoop 是一个开源的分布式计算框架，用于存储和处理大规模数据集。它基于 Google 发布的 MapReduce 和 Google 文件系统（GFS）的论文设计，并使用 Java 语言实现。Hadoop 的核心组件包括存储系统和计算引擎，它们共同协作，实现了高效、可靠的大数据处理能力。

Hadoop 主要组件Hadoop 主要由以下四个核心组件组成:1. **Hadoop 分布式文件系统 (HDFS)** 2. **Hadoop YARN** 3. **Hadoop MapReduce** 4. **Hadoop Common**

1. Hadoop 分布式文件系统 (HDFS)HDFS 是 Hadoop 的存储组件，负责存储海量数据。它采用主从架构，主要由以下组件构成：* **NameNode:** * 集群的主节点，负责管理文件系统的命名空间和数据块的映射关系。* 维护文件系统树及所有文件和目录的元数据，例如：文件名称、权限、修改时间等。* 记录每个数据块在 DataNode 上的存储位置。 * **DataNode:** * 集群的从节点，负责存储实际的数据块。* 根据 NameNode 的指令执行数据块的读写操作。* 定期向 NameNode 发送心跳信息，汇报自身状态和数据块信息。 * **Secondary NameNode:** * 辅助 NameNode 进行元数据的备份和恢复。* 定期从 NameNode 获取最新的元数据镜像文件和操作日志，合并生成新的元数据镜像文件。* 在 NameNode 发生故障时，可以利用 Secondary NameNode 上的元数据信息进行恢复。

2. Hadoop YARN (Yet Another Resource Negotiator)YARN 是 Hadoop 的资源管理和调度组件，负责管理集群资源，并为应用程序分配资源。它主要由以下组件构成:* **ResourceManager:** * 集群的主节点，负责管理整个集群的资源，包括内存、CPU、磁盘等。* 接收来自应用程序的资源请求，并根据资源使用情况进行调度。 * **NodeManager:** * 集群的从节点，负责管理单个节点的资源。* 与 ResourceManager 通信，汇报节点的资源使用情况。* 根据 ResourceManager 的指令启动和停止应用程序的容器。 * **ApplicationMaster:** * 每个应用程序对应一个 ApplicationMaster，负责管理应用程序的生命周期。* 向 ResourceManager 申请资源，并与 NodeManager 通信，启动和监控应用程序的任务。 * **Container:** * YARN 中资源分配的基本单位，可以理解为一个运行应用程序任务的进程。* 每个 Container 都有一定的资源限制，例如内存、CPU 等。

3. Hadoop MapReduceMapReduce 是 Hadoop 的计算组件，是一种并行编程模型，用于处理大规模数据集。它主要包含两个阶段：* **Map 阶段:** * 将输入数据切片成多个独立的数据块，每个 Map 任务处理一个数据块。* Map 任务对数据进行处理，生成键值对形式的中间结果。 * **Reduce 阶段:** * 将 Map 阶段生成的中间结果按照键进行分组，每个 Reduce 任务处理一个分组。* Reduce 任务对相同键的中间结果进行汇总、计算，生成最终结果。

4. Hadoop CommonHadoop Common 提供了 Hadoop 生态系统中其他模块所需的通用工具和库，包括：* **文件系统抽象层:** 提供了访问不同文件系统的统一接口，例如 HDFS、本地文件系统等。 * **远程过程调用 (RPC):** 用于不同节点之间的进程通信。 * **序列化和反序列化:** 用于在网络上传输数据。 * **压缩库:** 用于压缩和解压缩数据。

总结Hadoop 通过 HDFS、YARN、MapReduce 和 Common 这四大组件的协同工作，实现了高效、可靠的大数据存储和处理能力。HDFS 负责数据的存储，YARN 负责资源的管理和调度，MapReduce 负责数据的计算，Common 提供了基础的工具和库。 这些组件共同构成了 Hadoop 生态系统的基础，并为上层应用提供了强大的支持。