拆分策略

HBase 的 Region Split 策略一共有以下几种：

1.ConstantSizeRegionSplitPolicy

• 0.94 版本前默认切分策略
• 当 region 大小大于某个阈值(hbase.hregion.max.filesize=10G)之后就会触发切分，一个 region 等分为 2 个 region。

但是在生产线上这种切分策略却有相当大的弊端：切分策略对于大表和小表没有明显的区分。阈值(hbase.hregion.max.filesize)设置较大对大表比较友好，但是小表就有可能不会触
发分裂，极端情况下可能就 1 个，这对业务来说并不是什么好事。如果设置较小则对小表友好，但一个大表就会在整个集群产生大量的 region，这对于集群的管理、资源使用、failover 来
说都不是一件好事

2.IncreasingToUpperBoundRegionSplitPolicy

• 0.94 版本~2.0 版本默认切分策略

切分策略稍微有点复杂，总体看和 ConstantSizeRegionSplitPolicy 思路相同，一个 region 大小大于设置阈值就会触发切分。但是这个阈值并不像 ConstantSizeRegionSplitPolicy 是一个固定的值，而是会在一定条件下不断调整，调整规则和 region 所属表在当前 regionserver 上的 region 个数有关系.

region split 的计算公式是：
regioncount^3 _ 128M _ 2，当 region 达到该 size 的时候进行 split：
例如：：
第一次 split：1^3 _ 256 = 256MB：
第二次 split：2^3 _ 256 = 2048MB：
第三次 split：3^3 _ 256 = 6912MB：
第四次 split：4^3 _ 256 = 16384MB > 10GB，因此取较小的值 10GB：
后面每次 split 的 size 都是 10GB 了

3.SteppingSplitPolicy

• 2.0 版本默认切分策略

这种切分策略的切分阈值又发生了变化，相比 IncreasingToUpperBoundRegionSplitPolicy 简单了一些，依然和待分裂 region 所属表在当前 regionserver 上的 region 个数有关系，如果 region 个数等于 1，切分阈值为 flushsize*2，否则为 MaxRegionFileSize。
这种切分策略对于大集群中的大表、小表会比 IncreasingToUpperBoundRegionSplitPolicy 更加友好，小表不会再产生大量的小 region，而是适可而止。

4.KeyPrefixRegionSplitPolicy

根据 rowKey 的前缀对数据进行分组，这里是指定 rowKey 的前多少位作为前缀，比如 rowKey 都是 16 位的，指定前 5 位是前缀，那么前 5 位相同的 rowKey 在进行 regionsplit 的时候会分到相同的 region 中。

5.DelimitedKeyPrefixRegionSplitPolicy

保证相同前缀的数据在同一个 region 中，例如 rowKey 的格式为：userideventtype_eventid，指定的 delimiter 为，则 split 的的时候会确保 userid 相同的数据在同一个 region 中

6.DisabledRegionSplitPolicy

不启用自动拆分, 需要指定手动拆分

拆分策略的应用

Region 拆分策略可以全局统一配置，也可以为单独的表指定拆分策略

1.通过 hbase-site.xml 全局统一配置，也可以为单独的表指定拆分策略

  hbase.regionserver.region.split.policy
  org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy

2.通过 Java API 为单独的表指定 Region 拆分策略

HTableDescriptor tableDesc = new HTableDescriptor("test1");
tableDesc.setValue(HTableDescriptor.SPLIT_POLICY, IncreasingToUpperBoundRegionSplitPolicy.class.getName());
tableDesc.addFamily(new HColumnDescriptor(Bytes.toBytes("cf1")));
admin.createTable(tableDesc);

3.通过 HBase Shell 为单个表指定 Region 拆分策略

> create 'test2', {METADATA => {'SPLIT_POLICY' =>
'org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy'}},{NAME => 'cf1'}

HBase 表的预分区

1.为什么要预分区？

当一个 table 刚被创建的时候，HBase 默认分配一个 region 给 table。也就是说这个时候，所有的读写请求都会访问同一个 regionServer 的同一个 region 中，这个时候就达不到负载均衡的效果了，集群中其他的 regionServer 就可能会处于比较空闲的状态。解决这个问题可以用 pre-splitting。在创建 table 的时候就配置好，生成多个 region。

好处就是：

• 增加数据读写效率
• 负载均衡，防止数据倾斜
• 方便集群容灾调度 region

每个 region 维护着 startRow 与 endRowyKey，如果加入的数据符合某个 region 维护的 rowkey 范围，则该数据交给这个 region 来维护。

2.手动指定预分区

create ‘person’,‘info1’,‘info2’,SPLITS => [‘1000’,‘2000’,‘3000’]

也可以把分区规则创建于文件中。

create ‘student’,‘info’,SPLITS_FILE => ‘/root/hbase/split.txt’

Region 合并

Region 的合并不是为了性能，而是出于维护的目的。

Region 合并的方式：

1.通过 Merge 类冷合并

需要先关闭 HBase 集群。

不需要进入 hbase shell，直接执行：

合并的信息可以从页面上获取

hbase org.apache.hadoop.hbase.util.Merge user user,,1662823434957.f971c62e76cdff90ea957c0709099bb5. user,1000,1662823434957.366fc3c5e6237a8993cc0e143109c229.

2.通过 online_merge 热合并 Region

不需要关闭 HBase 集群，在线进行合并

与冷合并不同的是，online_merge 的传参是 Region 的 hash 值，Region 的 hash 值就是 Region 名称的最后那段在两个“.”之间的字符串部分。

示例：

merge_region 'c8d1a1b7f709dfcd8b0c574b4121fdca','1d7e67e13a48b67d2d7867ca9717183c'

支付宝打赏

微信打赏

留言与评论（共有 0 条评论） “”

验证码：