hadoop单机搭建（hadoop单机安装部署）

## Hadoop 单机搭建### 简介Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。虽然Hadoop通常部署在集群环境中，但为了学习和测试目的，也可以在单机模式下安装和运行Hadoop。本教程将指导您完成在Linux系统上搭建Hadoop单机模式的步骤。### 准备工作在开始安装Hadoop之前，您需要完成以下准备工作:#### 1. 操作系统本教程以 Ubuntu 20.04 LTS 为例进行演示，其他Linux发行版操作步骤可能略有不同。#### 2. Java环境Hadoop是用Java编写的，因此需要安装Java环境。您可以使用以下命令检查系统是否已安装Java：```bashjava -version```如果未安装Java，请使用以下命令安装：```bashsudo apt updatesudo apt install default-jdk```#### 3. SSH客户端Hadoop需要使用SSH连接到其节点，即使在单机模式下也是如此。 您可以使用以下命令检查系统是否已安装SSH客户端：```bashssh -V```如果未安装SSH客户端，请使用以下命令安装：```bashsudo apt install openssh-client```#### 4. 创建Hadoop用户出于安全考虑，建议创建一个专门用于运行Hadoop服务的非root用户。```bashsudo adduser hadoopsudo usermod -aG sudo hadoop```然后切换到hadoop用户：```bashsu - hadoop```### 下载Hadoop1. 访问Hadoop官网下载页面：[https://hadoop.apache.org/releases.html](https://hadoop.apache.org/releases.html)2. 选择您想要安装的Hadoop版本，并复制下载链接。3. 使用`wget`命令下载Hadoop：```bashwget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz ```(请将链接替换为您选择的版本)### 安装Hadoop1. 解压下载的Hadoop压缩包：```bashtar -xzvf hadoop-3.3.4.tar.gz```2. 将解压后的Hadoop文件夹移动到`/opt`目录：```bashsudo mv hadoop-3.3.4 /opt/hadoop```### 配置Hadoop1. 配置环境变量：编辑`~/.bashrc`文件：```bashnano ~/.bashrc```在文件末尾添加以下内容：```bashexport HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin```保存并关闭文件，然后运行以下命令使配置生效：```bashsource ~/.bashrc```2. 配置Hadoop配置文件：进入Hadoop配置目录：```bashcd /opt/hadoop/etc/hadoop```#### 2.1 修改 `hadoop-env.sh` 文件:```bashnano hadoop-env.sh```找到 `JAVA_HOME` 变量，将其设置为您的Java安装路径，例如:```bashexport JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64```#### 2.2 修改 `core-site.xml` 文件:```bashnano core-site.xml```在``标签内添加以下内容：```xmlfs.defaultFShdfs://localhost:9000```#### 2.3 修改 `hdfs-site.xml` 文件:```bashnano hdfs-site.xml```在``标签内添加以下内容：```xmldfs.replication1```#### 2.4 修改 `yarn-site.xml` 文件:```bashnano yarn-site.xml```在``标签内添加以下内容：```xmlyarn.nodemanager.aux-servicesmapreduce_shuffle```### 格式化HDFS1. 格式化HDFS文件系统：```bashhdfs namenode -format```### 启动Hadoop1. 启动HDFS：```bashstart-dfs.sh```2. 启动YARN：```bashstart-yarn.sh```### 验证安装1. 在浏览器中访问以下地址，查看HDFS Web UI：`http://localhost:9870`2. 在浏览器中访问以下地址，查看YARN Web UI：`http://localhost:8088`如果能够成功访问上述页面，则说明Hadoop已成功安装。### 停止Hadoop1. 停止YARN：```bashstop-yarn.sh```2. 停止HDFS：```bashstop-dfs.sh```## 总结恭喜！您已成功在单机模式下安装了Hadoop。 您可以使用此环境学习Hadoop的基本概念和操作，并进行简单的测试。

Hadoop 单机搭建

简介Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。虽然Hadoop通常部署在集群环境中，但为了学习和测试目的，也可以在单机模式下安装和运行Hadoop。本教程将指导您完成在Linux系统上搭建Hadoop单机模式的步骤。

准备工作在开始安装Hadoop之前，您需要完成以下准备工作:

1. 操作系统本教程以 Ubuntu 20.04 LTS 为例进行演示，其他Linux发行版操作步骤可能略有不同。

2. Java环境Hadoop是用Java编写的，因此需要安装Java环境。您可以使用以下命令检查系统是否已安装Java：```bashjava -version```如果未安装Java，请使用以下命令安装：```bashsudo apt updatesudo apt install default-jdk```

3. SSH客户端Hadoop需要使用SSH连接到其节点，即使在单机模式下也是如此。 您可以使用以下命令检查系统是否已安装SSH客户端：```bashssh -V```如果未安装SSH客户端，请使用以下命令安装：```bashsudo apt install openssh-client```

4. 创建Hadoop用户出于安全考虑，建议创建一个专门用于运行Hadoop服务的非root用户。```bashsudo adduser hadoopsudo usermod -aG sudo hadoop```然后切换到hadoop用户：```bashsu - hadoop```

下载Hadoop1. 访问Hadoop官网下载页面：[https://hadoop.apache.org/releases.html](https://hadoop.apache.org/releases.html)2. 选择您想要安装的Hadoop版本，并复制下载链接。3. 使用`wget`命令下载Hadoop：```bashwget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz ```(请将链接替换为您选择的版本)

安装Hadoop1. 解压下载的Hadoop压缩包：```bashtar -xzvf hadoop-3.3.4.tar.gz```2. 将解压后的Hadoop文件夹移动到`/opt`目录：```bashsudo mv hadoop-3.3.4 /opt/hadoop```

配置Hadoop1. 配置环境变量：编辑`~/.bashrc`文件：```bashnano ~/.bashrc```在文件末尾添加以下内容：```bashexport HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin```保存并关闭文件，然后运行以下命令使配置生效：```bashsource ~/.bashrc```2. 配置Hadoop配置文件：进入Hadoop配置目录：```bashcd /opt/hadoop/etc/hadoop```

2.1 修改 `hadoop-env.sh` 文件:```bashnano hadoop-env.sh```找到 `JAVA_HOME` 变量，将其设置为您的Java安装路径，例如:```bashexport JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64```

2.2 修改 `core-site.xml` 文件:```bashnano core-site.xml```在``标签内添加以下内容：```xmlfs.defaultFShdfs://localhost:9000```

2.3 修改 `hdfs-site.xml` 文件:```bashnano hdfs-site.xml```在``标签内添加以下内容：```xmldfs.replication1```

2.4 修改 `yarn-site.xml` 文件:```bashnano yarn-site.xml```在``标签内添加以下内容：```xmlyarn.nodemanager.aux-servicesmapreduce_shuffle```

格式化HDFS1. 格式化HDFS文件系统：```bashhdfs namenode -format```

启动Hadoop1. 启动HDFS：```bashstart-dfs.sh```2. 启动YARN：```bashstart-yarn.sh```

验证安装1. 在浏览器中访问以下地址，查看HDFS Web UI：`http://localhost:9870`2. 在浏览器中访问以下地址，查看YARN Web UI：`http://localhost:8088`如果能够成功访问上述页面，则说明Hadoop已成功安装。

停止Hadoop1. 停止YARN：```bashstop-yarn.sh```2. 停止HDFS：```bashstop-dfs.sh```

总结恭喜！您已成功在单机模式下安装了Hadoop。 您可以使用此环境学习Hadoop的基本概念和操作，并进行简单的测试。