利用DataX实现hive到MySQL

一、DataX是什么(https://github.com/alibaba/DataX

(1)异构数据源离线同步工具,致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。

利用DataX实现hive到MySQL

(2)支持的数据源

利用DataX实现hive到MySQL

(3)运行原理

利用DataX实现hive到MySQL

Job:单个作业的管理节点,负责数据清理、子任务划分、TaskGroup监控管理。

Task:由Job切分而来,是DataX作业的最小单元,每个Task负责一部分数据的同步工作。 Schedule:将Task组成TaskGroup,单个TaskGroup的并发数量为5。

TaskGroup:负责启动Task

(4)DataX(单机

Original: https://blog.csdn.net/weixin_53323742/article/details/124929806
Author: 雪山麦芽
Title: 利用DataX实现hive到MySQL

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/817811/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球