hivehadoop（hivehadoop6个进程）

本篇文章给大家谈谈hivehadoop，以及hivehadoop6个进程对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、如何用Hive访问Hadoop上数据
• 2、如何配置hive访问其他服务器的hadoop
• 3、hadoop和hive之间有什么关系？
• 4、Hadoop、Hive、Spark三者的区别和关系
• 5、为什么说 hive 是 hadoop 数据仓库，从方 面理解

如何用Hive访问Hadoop上数据

步骤

Hive提供了jdbc驱动，使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作，首先我们需要将这些驱动拷贝到报表工程下面，然后再建立连接，最后通过连接进行数据查询。

拷贝jar包到FR工程

将hadoop里的hadoop-common.jar拷贝至报表工渣态程appname/WEB-INF/lib下；

将hive里的hive-exec.jar、hive-jdbc.jar、hive-metastore.jar、hive-service.jar、libfb303.jar、log4j.jar、slf4j-api.jar、slf4j-log4j12.jar拷贝至报表工程appname/WEB-INF/lib下。

配置数据连接

启动设计器，打开服务器定义数据连接，新建JDBC连接。

在Hive 0.11.0版本之前，只有HiveServer服务可用，在程序操作Hive之前，必须在Hive安装的服务器上打开HiveServer服务。而HiveServer本身存在很多问题（比如：安全性、并发性等）；针对这些问题，Hive0.11.0版本提供了一个全新的服务：HiveServer2，这个很好的解决HiveServer存在的安全性、并发性等问题，所以下面我们分别介绍HiveServer和HiveServer2配置数据连接的方式。

HiveServer

数据库驱动:org.apache.hadoop.hive.jdbc.HiveDriver；

URL:jdbc:hive://localhost:10000/default

注：hive服务默认端口为10000，根据实际情况修改端口；另外目前只支持竖祥默认数据库名default，所有的Hive都余梁搏支持。

测试连接，提示连接成功即可。

4

数据库驱动:org.apache.hive.jdbc.HiveDriver；

URL:jdbc:hive2://localhost:10000/default

注：该连接方式只支持Hive0.11.0及之后版本。

如何配置hive访问其他服务器的hadoop

1、下载hive(),解包把胡戚它放到目录 /usr/local/hadoop/contrib并改名为hive,改属主(chown -R hadoop:hadoop).

2、卜吵下载ant （），解包并把它放置到目录/usr/local/hadoop.

3、修改文件 /etc/profile，添加如下的行：

export HADOOP_HOME=/usr/local/hadoopexport ANT_HOME=$HADOOP_HOME/apache-ant-1.7.1export PATH=$PATH:/usr/local/hadoop/bin:$JAVA_HOME/bin:$HADOOP_HOME/contrib/hive/bin:$ANT_HOME/bin

export ANT_LIB=$HADOOP_HOME/apache-ant-1.7.1/lib

export HADOOP=$HADOOP_HOME/bin/hadoop

型做侍

4、修改hive配置文件 /usr/local/hadoop/contrib/hive/conf/hive-default.xml,只要改一个地方，使其内容为：/usr/local/hadoop/contrib/hive/lib/hive_hwi.war。昨天我把它书写成 “hive-hwi.war”,浏览器访问，就只列出文件目录，死活都不对，唉！

5、启动hive web服务： $ hive –service hwi .监听端口默认是9999，也可以自己到hive-default.xml定制。浏览器的访问url为 http:/hadoop:9999/hwi.

注：hive表的存放地为hdfs,默认是 /user/hive .这个路径只有通过hadoop shell才能看见（不是/usr）

hadoop和hive之间有什么关系？

hive是hadoop的延申。

hadoop是一个分布式的软件处理框架，hive是一个提供了查询功能的数据仓库，而hadoop底层的hdfs为hive提供了数据存储。

hive将用户提交的SQL解析成mapreduce任务供hadoop直接运行，结合两者的优势，进行数据决策。一个擅长大数据并行计算，一个支持SQL数据查询，方便是显而易见的。但hive只要还是读操作

有了Hive之后，人们发现SQL对比Java有巨大的优势。一个是它太容易写了。刚才词频的东西，灶举正用SQL描述就只有一两MapReduce写起来大约要几十上百行。

扩展资料：

它主要有以下几个优点 ：

1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖 。

2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中 。

3、高效答数性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。Hadoop能够自动保存数隐悔据的多个副本，并且能够自动将失败的任务重新分配。

低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低 。

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++ 。

[img]

Hadoop、Hive、Spark三者的区别和关系

Hadoop分为两大部分：HDFS、Mapreduce。

HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

由于编写MapReduce程序繁琐复瞎正杂，而sql语言比较简单，程序员就开发出了支持sql的hive。hive的出现方便了程序员和没有计算机背景的数据分析人员。我们只需要编写相对简单的sql命令，hive会帮我们翻译为mapreduce程序交给计算机去执行。

mapreduceh这个计算框架每次执行都是从磁盘中读取的，而spark则是直接从内存中读取的。由于MapReduce 的框架限制，一个 MapReduce 任务只能包含一次 Map 和一次 Reduce，计算完成之后，MapReduce 会将运算结果写回到磁盘中（更准确地说是分布式存储系统）供下次计算使用。如果所做的运算涉及大量循环，比如估计模型参数的梯度下降或随机梯度下降算法就需要多次循环使用训练数据磨悄悔，那么整个计算过程会不断重复地往磁盘里读写中间结果。这样的读写数据会引起大量的网络传输以及磁盘读写，极其耗时，而且它运迟们都是没什么实际价值的废操作。因为上一次循环的结果会立马被下一次使用，完全没必要将其写入磁盘。

所以spark可以理解为mapreduce的改进升级版

为什么说 hive 是 hadoop 数据仓库，从方 面理解

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优渣卜点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转运帆化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。 

(1).hive由FaceBook开源用于解决海量结构化日志的数据统计。 

(2).hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 

(3).hive是构建在hadoop之上的数据仓库：

使用HQL语句作为查询接口

使用HDFS进行存储

使用mapreduce进行计算。 

(4).hive本质是:将HQL转化成MapReduce程序。 

(5).灵活和扩展性比如悄穗较好：支持UDF，自定义存储格式。 

(6).适合离线处理。 

(7).查询和管理在分布式存储的大的数据集(数据库：增删改查，hive不支持增删该)。管理主要是对表的管理。

关于hivehadoop和hivehadoop6个进程的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。