hive和hadoop的关系（hive和hadoop关系?）

本篇文章给大家谈谈hive和hadoop的关系，以及hive和hadoop关系?对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Hadoop、Hive、Spark三者的区别和关系
• 2、某电商双11数据分析与预测为什么会用到hive,可不可以直接用Hadoop？
• 3、Hadoop，Hive，Spark 之间是什么关系
• 4、hadoop和mapredunce，pig，hive有什么关系？
• 5、为什么说 hive 是 hadoop 数据仓库，从方 面理解
• 6、hadoop和hive之间有什么关系？

Hadoop、Hive、Spark三者的区别和关系

Hadoop分为两大部分：HDFS、Mapreduce。

HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

由于编写MapReduce程序繁琐复瞎正杂，而sql语言比较简单，程序员就开发出了支持sql的hive。hive的出现方便了程序员和没有计算机背景的数据分析人员。我们只需要编写相对简单的sql命令，hive会帮我们翻译为mapreduce程序交给计算机去执行。

mapreduceh这个计算框架每次执行都是从磁盘中读取的，而spark则是直接从内存中读取的。由于MapReduce 的框架限制，一个 MapReduce 任务只能包含一次 Map 和一次 Reduce，计算完成之后，MapReduce 会将运算结果写回到磁盘中（更准确地说是分布式存储系统）供下次计算使用。如果所做的运算涉及大量循环，比如估计模型参数的梯度下降或随机梯度下降算法就需要多次循环使用训练数据磨悄悔，那么整个计算过程会不断重复地往磁盘里读写中间结果。这样的读写数据会引起大量的网络传输以及磁盘读写，极其耗时，而且它运迟们都是没什么实际价值的废操作。因为上一次循环的结果会立马被下一次使用，完全没必要将其写入磁盘。

所以spark可以理解为mapreduce的改进升级版

[img]

某电商双11数据分析与预测为什么会用到hive,可不可以直接用Hadoop？

首先明确Hive和Hadoop两者的关系：

1、Hadoop是一种用于存储、读取以及处理海量数据的技术。你可以将他等价理解为个人PC的文件系统，只不过它能够承载远比一两块硬盘所能储存的多得多的数据；

2、Hive是一种构建在Hadoop之上的工具，它通过书写滚肢芦SQL语句的方式部分实现了Hadoop的功能，也就是说，所有Hive具备的能力，Hadoop都有，只不过Hive提供了一套描述工具，饥闷让你用可读性更强、更通用的方式描述你想解决的问题，然后由Hive将其转换成Hadoop的底层逻辑，最终解决问题。

所以，你问的问题也就不言自明了，当然可以直接基于Hadoop，使用Java、Python等语言直接编写MapReduce的处理过程；但是，常规的数据分析如果使用Hive，可能只需要若干Select查询语句即可完成，若编写代码完成，可能需要安装配置本地IDE、完成相关代码库的依赖、MapReduce完整逻辑的实现、任务的提交、计算大带结果的获取等等一系列庞杂的细节。两厢对比，我认为虽然理论上可以直接用Hadoop，但是在真实业务场景下，就是不能用的。

希望我说明白了~

Hadoop，Hive，Spark 之间是什么关系

这个网上有很多的，大致讲一下。hadoop是大数带穗据生态环境，包括很多组件，其中也包括hive.而spark本身来说就是用来做小批量和准实时计算的，可以用来代替mr作为衡行闷计算引擎。咐弯

hadoop和mapredunce，pig，hive有什么关系？

简单地说，hadoop是一个开源的大数据笑雹框架，猛升羡包含hdfs和mapreduce两部分，而pig和hive都是建立在hadoop之上枝拍的大数据工具。

为什么说 hive 是 hadoop 数据仓库，从方 面理解

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优渣卜点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转运帆化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。 

(1).hive由FaceBook开源用于解决海量结构化日志的数据统计。 

(2).hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 

(3).hive是构建在hadoop之上的数据仓库：

使用HQL语句作为查询接口

使用HDFS进行存储

使用mapreduce进行计算。 

(4).hive本质是:将HQL转化成MapReduce程序。 

(5).灵活和扩展性比如悄穗较好：支持UDF，自定义存储格式。 

(6).适合离线处理。 

(7).查询和管理在分布式存储的大的数据集(数据库：增删改查，hive不支持增删该)。管理主要是对表的管理。

hadoop和hive之间有什么关系？

hive是hadoop的延申。

hadoop是一个分布式的软件处理框架，hive是一个提供了查询功能的数据仓库，而hadoop底层的hdfs为hive提供了数据存储。

hive将用户提交的SQL解析成mapreduce任务供hadoop直接运行，结合两者的优势，进行数据决策。一个擅长大数据并行计算，一个支持SQL数据查询，方便是显而易见的。但hive只要还是读操作

有了Hive之后，人们发现SQL对比Java有巨大的优势。一个是它太容易写了。刚才词频的东西，用SQL描述就只有一两行，MapReduce写起来大约要几十上百行。

Hive逐渐成长成了大数据仓库的核心组件。甚至很多公司的流水线作业集完全是用SQL描述，因为易写易改，一歼哪看就懂，容易维护。

扩展资料

hadoop和hive之间的区别：

1、Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。

2、Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以实际进行分布式运算的是MapReduce程序

3、因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。

为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存茄租储到mysql中。为了啥存储到mysql里（实际是远程mysql），因为hive本身就是氏纳码一个解释器，所以他不存储数据。

关于hive和hadoop的关系和hive和hadoop关系?的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。