hbase存储结构（hbase主要用来存储结构化数据）

## HBase 存储结构详解### 简介HBase 是一种分布式的、面向列的 NoSQL 数据库，基于 Google 的 BigTable 模型。它提供高可用性、高吞吐量和低延迟的读写操作，适合处理海量数据，尤其适用于需要快速查询和写入数据的场景。本文将详细介绍 HBase 的存储结构，帮助理解数据在 HBase 中是如何组织和存储的。### 1. HBase 数据模型HBase 的数据模型类似于关系型数据库的表格，但更灵活，它将数据以

行 (Row)

、

列族 (Column Family)

和

列 (Column)

的形式存储。-

行 (Row):

每个行代表一个数据实体，以唯一的行键 (Row Key) 标识。行键是用户定义的，通常用于快速定位数据。 -

列族 (Column Family):

列族是列的集合，用于组织数据。每个列族可以包含多个列，每个列族都有自己的存储策略，例如压缩方式、块大小等。 -

列 (Column):

每个列代表一个数据属性，由列族和列限定符 (Qualifier) 组成。例如：`info:name` 表示 `info` 列族下的 `name` 列。### 2. HBase 存储结构HBase 的存储结构分层，主要包括以下几个层次：#### 2.1 表 (Table)- 一个 HBase 表对应一个数据集合，包含多个行。 - 表存储在多个 RegionServer 上，每个 RegionServer 负责管理一部分数据。 - 表可以通过 HTable 类进行访问。#### 2.2 Region- 每个表被分成多个 Region，每个 Region 包含一部分数据。 - Region 由 RegionServer 管理，每个 RegionServer 负责管理多个 Region。 - Region 的划分是基于行键的，每个 Region 包含一个连续的行键范围。 - Region 可以根据数据量和负载情况进行自动拆分和合并。#### 2.3 Store- 每个 Region 包含多个 Store，每个 Store 对应一个列族。 - Store 负责管理该列族下的所有数据。 - Store 存储在 HDFS 上，以文件形式存储。#### 2.4 MemStore- MemStore 是一个内存中的数据结构，用于缓存新写入的数据。 - 当 MemStore 达到一定大小后，会将数据写入到 Store 文件。 - MemStore 允许快速写入数据，并在发生故障时进行恢复。#### 2.5 StoreFile- StoreFile 是 HBase 的基础存储单元，存储在 HDFS 上。 - StoreFile 包含多个 Block，每个 Block 包含一部分数据。 - StoreFile 按照时间顺序排序，新的 StoreFile 会被追加到旧的 StoreFile 之后。#### 2.6 Block- Block 是 StoreFile 中的最小数据单元，包含多个数据项。 - Block 可以根据不同的数据压缩算法进行压缩。 - Block 的大小可以根据需要进行配置。### 3. 数据读写流程#### 3.1 写入数据1. Client 将写入请求发送到 HBase。 2. HBase 将请求转发到相应的 RegionServer。 3. RegionServer 将数据写入到 MemStore。 4. 当 MemStore 达到一定大小后，数据被刷入 StoreFile。 5. StoreFile 被写入到 HDFS 上。#### 3.2 读取数据1. Client 将读取请求发送到 HBase。 2. HBase 将请求转发到相应的 RegionServer。 3. RegionServer 读取 MemStore 和 StoreFile 中的数据。 4. 将数据返回给 Client。### 总结HBase 的存储结构是一个分层、高效的结构，它将数据存储在不同的层级上，并提供高效的读写操作。通过理解 HBase 的存储结构，可以更好地理解 HBase 的工作原理，并更好地利用 HBase 处理海量数据。

HBase 存储结构详解

简介HBase 是一种分布式的、面向列的 NoSQL 数据库，基于 Google 的 BigTable 模型。它提供高可用性、高吞吐量和低延迟的读写操作，适合处理海量数据，尤其适用于需要快速查询和写入数据的场景。本文将详细介绍 HBase 的存储结构，帮助理解数据在 HBase 中是如何组织和存储的。

1. HBase 数据模型HBase 的数据模型类似于关系型数据库的表格，但更灵活，它将数据以 **行 (Row)**、**列族 (Column Family)** 和 **列 (Column)** 的形式存储。- **行 (Row):** 每个行代表一个数据实体，以唯一的行键 (Row Key) 标识。行键是用户定义的，通常用于快速定位数据。 - **列族 (Column Family):** 列族是列的集合，用于组织数据。每个列族可以包含多个列，每个列族都有自己的存储策略，例如压缩方式、块大小等。 - **列 (Column):** 每个列代表一个数据属性，由列族和列限定符 (Qualifier) 组成。例如：`info:name` 表示 `info` 列族下的 `name` 列。

2. HBase 存储结构HBase 的存储结构分层，主要包括以下几个层次：

2.1 表 (Table)- 一个 HBase 表对应一个数据集合，包含多个行。 - 表存储在多个 RegionServer 上，每个 RegionServer 负责管理一部分数据。 - 表可以通过 HTable 类进行访问。

2.2 Region- 每个表被分成多个 Region，每个 Region 包含一部分数据。 - Region 由 RegionServer 管理，每个 RegionServer 负责管理多个 Region。 - Region 的划分是基于行键的，每个 Region 包含一个连续的行键范围。 - Region 可以根据数据量和负载情况进行自动拆分和合并。

2.3 Store- 每个 Region 包含多个 Store，每个 Store 对应一个列族。 - Store 负责管理该列族下的所有数据。 - Store 存储在 HDFS 上，以文件形式存储。

2.4 MemStore- MemStore 是一个内存中的数据结构，用于缓存新写入的数据。 - 当 MemStore 达到一定大小后，会将数据写入到 Store 文件。 - MemStore 允许快速写入数据，并在发生故障时进行恢复。

2.5 StoreFile- StoreFile 是 HBase 的基础存储单元，存储在 HDFS 上。 - StoreFile 包含多个 Block，每个 Block 包含一部分数据。 - StoreFile 按照时间顺序排序，新的 StoreFile 会被追加到旧的 StoreFile 之后。

2.6 Block- Block 是 StoreFile 中的最小数据单元，包含多个数据项。 - Block 可以根据不同的数据压缩算法进行压缩。 - Block 的大小可以根据需要进行配置。

3. 数据读写流程

3.1 写入数据1. Client 将写入请求发送到 HBase。 2. HBase 将请求转发到相应的 RegionServer。 3. RegionServer 将数据写入到 MemStore。 4. 当 MemStore 达到一定大小后，数据被刷入 StoreFile。 5. StoreFile 被写入到 HDFS 上。

3.2 读取数据1. Client 将读取请求发送到 HBase。 2. HBase 将请求转发到相应的 RegionServer。 3. RegionServer 读取 MemStore 和 StoreFile 中的数据。 4. 将数据返回给 Client。

总结HBase 的存储结构是一个分层、高效的结构，它将数据存储在不同的层级上，并提供高效的读写操作。通过理解 HBase 的存储结构，可以更好地理解 HBase 的工作原理，并更好地利用 HBase 处理海量数据。