spark读写hive（spark读写hive的demo）

Spark读写Hive

简介：

Hive是基于Hadoop的大数据仓库工具，它提供了一个类似于SQL的查询语言HQL，方便用户对存储在Hadoop中的数据进行分析和查询。Spark是一个快速、通用的大数据处理框架，支持实时数据处理、机器学习和图计算等。本文将介绍如何使用Spark读写Hive中的数据。

多级标题：

1. 创建SparkSession对象

2. 读取Hive表数据

3. 将数据写入Hive表

内容详细说明：

1. 创建SparkSession对象：

在使用Spark操作Hive之前，需要先创建一个SparkSession对象，用于与Hive进行交互。SparkSession是Spark 2.0版本引入的新概念，它是Spark SQL操作的入口点。我们可以通过以下方式创建一个SparkSession对象：

```scala

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()

.appName("Spark Hive Example")

.config("spark.sql.warehouse.dir", "/user/hive/warehouse")

.enableHiveSupport()

.getOrCreate()

```

上述代码创建了一个名为"Spark Hive Example"的Spark应用，设置了Hive元数据的存储位置为"/user/hive/warehouse"，并启用了Hive支持。

2. 读取Hive表数据：

通过创建了SparkSession对象后，我们可以使用Spark SQL的API来读取Hive表中的数据。Spark SQL提供了一种将Hive和Spark集成的简便方法。以下是读取Hive表数据的示例代码：

```scala

val data = spark.sql("SELECT * FROM my_table")

data.show()

```

上述代码使用SparkSession对象的sql方法执行了一条HQL查询语句，从名为"my_table"的Hive表中读取了所有数据，并通过show方法将查询结果打印出来。

3. 将数据写入Hive表：

除了读取Hive表数据，Spark还支持将数据写入Hive表。以下是将数据写入Hive表的示例代码：

```scala

val data = Seq(("John", 25), ("Alice", 30), ("Bob", 35))

val df = spark.createDataFrame(data).toDF("name", "age")

df.write.mode("overwrite").saveAsTable("my_table")

```

上述代码创建了一个DataFrame对象，并将其写入到名为"my_table"的Hive表中。我们可以使用createDataFrame方法将一个普通的Scala集合转换为DataFrame对象，然后通过调用saveAsTable方法将数据保存到Hive表中。在该示例中，我们使用了"overwrite"模式来覆盖已有的表。

总结：

本文介绍了如何使用Spark读取和写入Hive中的数据。通过创建SparkSession对象，我们可以方便地操作Hive表，使用Spark SQL提供的API进行数据的读取和写入操作。通过学习本文，读者可以更好地理解如何在Spark中与Hive集成，提高数据处理和分析的效率。