hbase1向hbase2表迁移

hbase1版本向hbase2版本表数据迁移;

这里使用hbase的 Snapshot功能实现

1、源集群 flush刷新内存数据到磁盘
hbase> flush ‘7d8f7d560e9ef7d355bff43a60b0d226’
7d8f7d560e9ef7d355bff43a60b0d226 来自于校验和,可以在hbase控制台中查看。注意,如果有多个region那么需要对每个region都执行,类似于图中:

hbase1向hbase2表迁移

hbase1向hbase2表迁移

并且,如果条件允许,尽可能disable表;

2、源集群 ,创建表快照

hbase> snapshot ‘表名’, ‘快照名’ #创建命令

查看快照命令:list_snapshots
删除快照命令:delete_snapshot

我这里已经有一张残障人士桌了。

[En]

I already have a disable table here.

hbase1向hbase2表迁移

将快照目录和表目录导出到主机本地:

[En]

Export snapshot directories and table directories to the host local:

hbase1向hbase2表迁移

3、传输数据到目标集群

在这里,源HBase目录下的快照目录和数据目录被discp、scp、hdFS dfs-cp直接复制到目标集群。

[En]

Here, the snapshot directory and data directory under the source hbase directory are copied directly to the target cluster by distcp,scp,hdfs dfs-cp.

如果集群之间有通信,您也可以使用mr任务进行传输。

[En]

If there is communication between clusters, you can also use the MR task to transmit.

将源群集的快照目录和表目录SCP到目标群集的主机:

[En]

Scp the snapshot directory and table directory of the source cluster to the host of the target cluster:

scp -r app_precision_marketing.label_precision_marketing_user_internal_little root@172.xx.xx.xx:/tmp/

scp -r snapshot_app_precision_marketing.label_precision_marketing_user_internal_little root@172.xx.xx.xx:/tmp/

4、[目标集群] 把从源集群传过来的快照目录和表目录上传到hbase的数据目录中

保证目标集群中没有这张表,如果有的话,并且不用的话,可以删除,参考:hbase2强制删除表 – 秋刀鱼的滋味w – 博客园 (cnblogs.com)

如果目标群集中已存在该表,则无法迁移该表。

[En]

If this table already exists in the target cluster, it cannot be migrated.

hbase1向hbase2表迁移

检查HDFS上的目录权限是否正确。如果不是,则需要更改权限。

[En]

Check whether the directory permissions on HDFS are correct. If not, you need to change the permissions.

hbase1向hbase2表迁移

5、目标集群

使用clone_snapshot ‘snapshot_name, ‘tableName’ 修复元数据

hbase1向hbase2表迁移

您可以看到,该表已经出现,可以进行查询:

[En]

You can see that the table has appeared and can be queried:

Original: https://www.cnblogs.com/weiyiming007/p/15726181.html
Author: 秋刀鱼的滋味w
Title: hbase1向hbase2表迁移

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6961/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部