迁移hive表及hive数据

公司Hadoop集群迁移,需要迁移所有表结构和更重要的表数据(跨云服务机房、源广州机房、目标北京机房)

[En]

Company hadoop cluster migration, need to migrate all the table structure and more important table data (cross-cloud service server room, source Guangzhou server room, target Beijing server room)

1、迁移表结构

1)、老hive中导出表结构

2)、新hive中导入表结构

顺便说一句,在执行之前创建一个db,然后在ableDDL.txt之前添加use db

[En]

By the way, create a db before execution, and then add use db before the tableDDL.txt

2、迁移表数据

目前使用的方案是将表数据导出到HDFS,然后下载到云服务器,压缩,上传到新的HIVE集群网络中的宿主机,解压缩,上传到HDFS,上传到HIVE。

[En]

The solution currently used is to export the table data to HDFS, then download it to the CVM, compress it, upload it to the host in the new hive cluster network, decompress it, upload it to HDFS, and upload it to HIVE.

1)、将HIVE表数据导出至HDFS

2)、将HDFS数据下载至主机中

3)、将数据压缩

4)、将数据发送至目标hive集群的内网主机中

5)、解压数据

6)、将数据上传至HDFS中

7)、将HDFS数据上传至Hive表中

Original: https://www.cnblogs.com/hark0623/p/12248889.html
Author: HarkLee
Title: 迁移hive表及hive数据

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6791/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总