hdfs创建目录（hdfs创建目录后没有该目录）

## HDFS 创建目录

简介

Hadoop 分布式文件系统 (HDFS) 是 Hadoop 生态系统的核心组件之一，用于存储大型数据集。在 HDFS 中创建目录是任何数据存储操作的第一步。本文将详细介绍如何在 HDFS 中创建目录，包括使用命令行接口和 Java API。### 1. 使用 HDFS 命令行接口 (CLI) 创建目录HDFS 提供了 `hdfs dfs` 命令行工具，可以方便地管理 HDFS 中的文件和目录。使用 `-mkdir` 选项可以创建新目录。

1.1 创建单级目录:

```bash hdfs dfs -mkdir /path/to/new_directory ```例如，创建一个名为 `my_data` 的目录：```bash hdfs dfs -mkdir /my_data ```

1.2 创建多级目录:

`-mkdir` 命令默认情况下不会创建父目录。如果父目录不存在，则创建目录会失败。使用 `-p` 选项可以递归创建所有不存在的父目录。```bash hdfs dfs -mkdir -p /path/to/parent/new_directory ```例如，创建一个名为 `my_project/data/raw` 的多级目录：```bash hdfs dfs -mkdir -p /my_project/data/raw ```

1.3 检查目录是否创建成功:

可以使用 `-ls` 命令验证目录是否已成功创建：```bash hdfs dfs -ls /path/to/new_directory ```### 2. 使用 Java API 创建目录除了命令行接口外，还可以使用 Java API 以编程方式创建 HDFS 目录。

2.1 必要的依赖:

确保项目中包含 `hadoop-common` 和 `hadoop-hdfs` 依赖。

2.2 Java 代码示例:

```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;public class CreateHdfsDirectory {public static void main(String[] args) throws Exception {Configuration conf = new Configuration();// 可以根据需要设置 HDFS 集群的地址和端口// conf.set("fs.defaultFS", "hdfs://namenode:9000");FileSystem fs = FileSystem.get(conf);Path newDirectoryPath = new Path("/path/to/new_directory_java");// 创建目录，如果父目录不存在则会抛出异常boolean isCreated = fs.mkdirs(newDirectoryPath);if (isCreated) {System.out.println("目录创建成功: " + newDirectoryPath);} else {System.out.println("目录创建失败: " + newDirectoryPath);}fs.close();} } ```

2.3 代码解释:

`Configuration` 对象用于配置 HDFS 连接。

`FileSystem.get(conf)` 获取 HDFS 文件系统实例。

`Path` 对象表示 HDFS 中的路径。

`fs.mkdirs(newDirectoryPath)` 创建目录。

记得关闭 `FileSystem` 实例 `fs.close()`### 3. 权限控制HDFS 支持权限控制，可以限制用户对目录的访问。可以使用 `-chmod` 和 `-chown` 命令修改目录的权限和所有者。 具体使用方法请参考 HDFS 官方文档.### 4. 总结本文介绍了使用命令行接口和 Java API 创建 HDFS 目录的方法。`hdfs dfs -mkdir` 命令简单易用，适合快速创建目录。Java API 提供了更灵活的编程控制，适用于复杂的应用程序。 选择哪种方法取决于具体的需求。 理解 HDFS 目录的创建是使用 HDFS 进行数据存储和管理的基础。

HDFS 创建目录**简介**Hadoop 分布式文件系统 (HDFS) 是 Hadoop 生态系统的核心组件之一，用于存储大型数据集。在 HDFS 中创建目录是任何数据存储操作的第一步。本文将详细介绍如何在 HDFS 中创建目录，包括使用命令行接口和 Java API。

1. 使用 HDFS 命令行接口 (CLI) 创建目录HDFS 提供了 `hdfs dfs` 命令行工具，可以方便地管理 HDFS 中的文件和目录。使用 `-mkdir` 选项可以创建新目录。**1.1 创建单级目录:**```bash hdfs dfs -mkdir /path/to/new_directory ```例如，创建一个名为 `my_data` 的目录：```bash hdfs dfs -mkdir /my_data ```**1.2 创建多级目录:**`-mkdir` 命令默认情况下不会创建父目录。如果父目录不存在，则创建目录会失败。使用 `-p` 选项可以递归创建所有不存在的父目录。```bash hdfs dfs -mkdir -p /path/to/parent/new_directory ```例如，创建一个名为 `my_project/data/raw` 的多级目录：```bash hdfs dfs -mkdir -p /my_project/data/raw ```**1.3 检查目录是否创建成功:**可以使用 `-ls` 命令验证目录是否已成功创建：```bash hdfs dfs -ls /path/to/new_directory ```

2. 使用 Java API 创建目录除了命令行接口外，还可以使用 Java API 以编程方式创建 HDFS 目录。**2.1 必要的依赖:**确保项目中包含 `hadoop-common` 和 `hadoop-hdfs` 依赖。**2.2 Java 代码示例:**```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;public class CreateHdfsDirectory {public static void main(String[] args) throws Exception {Configuration conf = new Configuration();// 可以根据需要设置 HDFS 集群的地址和端口// conf.set("fs.defaultFS", "hdfs://namenode:9000");FileSystem fs = FileSystem.get(conf);Path newDirectoryPath = new Path("/path/to/new_directory_java");// 创建目录，如果父目录不存在则会抛出异常boolean isCreated = fs.mkdirs(newDirectoryPath);if (isCreated) {System.out.println("目录创建成功: " + newDirectoryPath);} else {System.out.println("目录创建失败: " + newDirectoryPath);}fs.close();} } ```**2.3 代码解释:*** `Configuration` 对象用于配置 HDFS 连接。 * `FileSystem.get(conf)` 获取 HDFS 文件系统实例。 * `Path` 对象表示 HDFS 中的路径。 * `fs.mkdirs(newDirectoryPath)` 创建目录。 * 记得关闭 `FileSystem` 实例 `fs.close()`

3. 权限控制HDFS 支持权限控制，可以限制用户对目录的访问。可以使用 `-chmod` 和 `-chown` 命令修改目录的权限和所有者。 具体使用方法请参考 HDFS 官方文档.

4. 总结本文介绍了使用命令行接口和 Java API 创建 HDFS 目录的方法。`hdfs dfs -mkdir` 命令简单易用，适合快速创建目录。Java API 提供了更灵活的编程控制，适用于复杂的应用程序。 选择哪种方法取决于具体的需求。 理解 HDFS 目录的创建是使用 HDFS 进行数据存储和管理的基础。