hbase表集群间数据同步 hbase replication

说明:集群A中有张表t1,现在想让往t1中写入数据后,集群B中的t1表,也会有这些数据,两个集群中的t1表,名字和结构一样;

操作案例:

【Hbase表集群间同步】
源集群要更改hbase配置:hbase.replication => true

目标群集的HBase配置保持不变

[En]

The hbase configuration of the target cluster remains unchanged

(1)源集群,同步user_1表到172.20.146.50集群
hbase> create ‘user_1’, ‘info’ #表如果已经存在,就不用创建了
hbase> add_peer ’12’,’172.20.146.50:2181:/hbase’
hbase> alter ‘user_1′,{NAME =>’info’, REPLICATION_SCOPE=>’1′}
hbase> set_peer_tableCFs ’12’,’user_1′
hbase> list_peers

注意:172.20.146.50:2181:/hbase 为目的hbase集群所使用的zookeeper地址,多个zk可写为: zk1,zk2,zk3:2181:/hbase
HDP集群最后不是/hbase ,而是/hbase-secure 具体的可以看hbase的配置 zookeeper.znode.parent
add_peer和set_peer_tableCFs中的’12’ 对应唯一id,每一张表的 add_peer id可随意添加但是要唯一。

(2)目的集群:
在目的HBase节点上创建表与源HBase的表结构一致

[En]

Creating a table on the destination hbase node is consistent with the table structure of the source hbase

hbase> create ‘user_1’, ‘info’

将数据添加到源群集表中,以查看它是否已在目标群集表中同步

[En]

Add data to the source cluster table to see if it has been synchronized in the destination cluster table

(3)暂停 HBase 集群复制:
hbase> disable_table_replication “t1”

(4)删除复制:
hbase> remove_peer ‘id’ #谨慎操作,最好不要删掉,因为目前发现,删掉peer后,源集群hbase会挂掉,我这版本是CDH5.13.1,后续再看一下

Original: https://www.cnblogs.com/weiyiming007/p/15797880.html
Author: 秋刀鱼的滋味w
Title: hbase表集群间数据同步 hbase replication

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6957/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部