hadoopfs-put（hadoopfsput出错）

本篇文章给大家谈谈hadoopfs-put，以及hadoopfsput出错对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、在Hadoop中,使用put命令,在test中生成文件myfile，可以直接创建吗？命令是什么呢？
• 2、hadoop使用put上传文件出错
• 3、Hadoop-文件put的过程
• 4、hadoop怎么保存配置文件

在Hadoop中,使用put命令,在test中生成文件myfile，可以直接创建吗？命令是什么呢？

1. 创建本地的示例灶差数据文件：

依次进入【Home】-【hadoop】-【hadoop-1.2.1】创建一个文件夹file用来存储本地原始数据。

并在这个目录下创建2个文件分别命名为【myTest1.txt】和【myTest2.txt】或者你想要的任何文件名。

分别在这2个文件中输入塌中下列示例语句：

2. 在HDFS上创建输入文件夹

呼出终端，输入下面指令：

bin/hadoop fs -mkdir hdfsInput

执行这个命令时可能会提示类似安全的问题，如果提示了，请使用

bin/hadoop dfsadmin -safemode leave

来退出安全模式。

当分布式文件系统处于安全模式隐衫皮的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结 束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。

意思是在HDFS远程创建一个输入目录，我们以后的文件需要上载到这个目录里面才能执行。

3. 上传本地file中文件到集群的hdfsInput目录下

在终端依次输入下面指令：

cd hadoop-1.2.1

bin/hadoop fs -put file/myTest*.txt hdfsInput

4. 运行例子：

在终端输入下面指令：

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount hdfsInput hdfsOutput

注意，这里的示例程序是1.2.1版本的，可能每个机器有所不一致，那么请用*通配符代替版本号

bin/hadoop jar hadoop-examples-*.jar wordcount hdfsInput hdfsOutput

应该出现下面结果：

Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：job_201202292213_0002，而且得知输入文件有两个（Total input paths to process : 2），同时还可以了解map的输入输出记录（record数及字节数）

[img]

hadoop使用put上传文件出错

先看看 /user/xxx目录的权限返行：drwxr-xr-x - hdfs supergroup 表示它属于hdfs用户，组名为 supergroup

因此需要使用 sudo -u hdfs hadoop fs -put localfile /user/xxx 来指定使用迟渗 hdfs 用户来执行上传命令。参考

当高兴地执行sudo -u hdfs hadoop fs -put localfile /user/xxx 以为能成功上传时，又报错：

put: localfile No such file or directory 说找不到本地文件localfile，可是用 ls 明明 能看到 localfile ，后来在一篇文章（参考）中发现发来是lcoalfile的权限漏旦哗问题。

Hadoop-文件put的过程

主要手旁通过日志分析文件put的过程。

操作命令：毕纤橡

hadoop fs -put test /

NameNode日志：

解读竖尺：

namenode会分配一个名为blk_1073741828_1004的Block。

然后提交。

DataNode日志：

解读：

DataNode从master接收名为blk_1073741828_1004的块。

并创建offset、blockid、srvid等。

存储位置：

hadoop怎么保存配置文件

从安装Hadoop 单机版的配置说起

在这里配置了Hadoop的文件目录

1. 启动Hadoop 并上传文件

上传文件命令：hadoop fs -put hadoop-2.9.2.tar.gz hdfs://hdgroup01:9000/

可以看到已经上传了文件了

2. 删除本地文件

如果删除后你在浏览器刷新页面 然后还能下载 说明 肯定存在其他地方

使用命令下载也可以：hadoop fs -get hdfs://hdgroup01:9000/hadoop-2.9.2.tar.gz

3. hdfs 文件存放的位置

通过查看 安装时配置的hadoop文件目录 上传文件后的结果

这个dfs 应该见过的 就是在缓液格式化namenode的时候 在我们配置的文件中创建了dfs 文件夹

4. 上传一个349.5M 的文件

5. 进到hadoop 本地存储文件中查看 存储格式

上传的文件为349.47M 被切分成了 三块 因为是单机版 所以都存放到了 这台主机的文件系统中孙亮

可以看到 hadoop 块大小为128M（默认） 超过128M的文件会被切则哪宽成不同的块存放

总结

1. hdfs是是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式 虚拟的目录结构

2. 文件存储到hdfs集群中的时候是被切分成block的 默认为128M

3. 文件的block 存放在若干台datanode节点中

4. hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理

5. 每个block 在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量。

关于hadoopfs-put和hadoopfsput出错的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。