ApacheCon Asia 2022 精彩回顾 | 如何让更多人从大数据中获益？

点亮 ⭐️ Star · 照亮开源之路

GitHub:https://github.com/apache/dolphinscheduler

在 ApacheCon Asia 2022 Meetup上，有着十余年大数据开发工作经验，来自 某银行离线数据工厂开发工具负责人陈卫老师分享了 如何让更多人从大数据中获益 的主题演讲。

感谢 志愿者关博将本次演讲整理本文，您对 Apache DolphinScheduler 的贡献是社区不断前进的动力！

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:aa984722-fd25-4df2-a84e-732d1075bb06

一、背景介绍

1. 业务经理希望获得 准确的数据，来帮助他们来做业务决策。
2. 终端用户希望在短短的几分钟或者几个小时之内快速获得到 自己想要的数据，他们不希望走以前传统的流程，需要向数据部门的同事提需求，从需求变更、开发、上线需要等数周才能拿到数据。
3. 数据研发团队规模比以前越来越壮大，管理越来越复杂。 每个数据处理工作的人都希望及时获得业务数据，以帮助他们做出决策。
4. 数据源变得越来越复杂，例如数据库，网页，日志，文件，ERP，外部数据等。

01 用户需求

1. 高级用户希望获得有限的自助服务，通过自助服务能够便捷、分析获取数据。
2. 应用程序开发人员 只关心业务逻辑，不关心具体的底层技术，也不希望更深入的去了解平台运维相关的配置。
3. 尽可能的隐藏技术细节，让业务开发人员以及业务用户更专注业务逻辑，实现业务目标。
4. 对系统管理员比较友好，能让系统管理员快捷、方便的有效管理数据平台。

基于以上用户需求，认为 DataOps 是我们努力的方向和目标，DataOps 是在 DevOps 基础之上实现数据敏捷的方式或者方法。

​

02 什么是 DataOps?

DataOps 是一种协作式数据管理实践，专注于改善组织数据管理员、数据消费者、数据开发人员之间数据流的通信、集成、自动化的方法论。

DataOps 的目标是 通过创建可预测的数据、数据模型和相关工件的交付和变更管理，更快地交付价值。

DataOps 使用技术通过适当的治理级别自动执行数据交付的设计、部署和管理，并使用元数据来提高不断变化的环境中数据的可用性和价值。

DataOps 有助于我们实现快速的数据创新，以更快的速度向业务提供见解，并且提供数据质量帮助到数据人员。

2018年， DataOps被纳入到 Data Management 的技术成熟度曲线，标志着 DataOps 正式被业界所接纳并推广起来。DataOps 虽然可以降低数据分析的门槛，但 并不会让数据分析变成一项简单的工作。

03 DataOps 关注点

​

1. 快速创新和实验，以越来越快的速度为客户提供价值。
2. 提供极高的数据质量和极低的错误率。
3. 通过不同的人以及技术和环境进行协作，来提供交互价值。
4. 测量、监控清晰，结果透明。

04 DataOps 核心组件

1.Job Scheduler

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:0959386a-901a-4ca8-ac70-2e5372c0ec18

2.DevTools

主要提供传统脚本语言sql、python 等开发工具，快速与调度平台集成，方便使用。

3.Migration and Deployment tools

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:240e0354-7f04-44ee-a675-a689139274c2

4.管理与监控工具

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:eece556b-2f26-482a-8d5d-fde510b91dcf

​

二、Job Scheduler

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:899dfa0c-2520-42ab-944f-8ee5e1a8c6b4

01 主流调度系统优缺点

​

Oozie

Oozie 是一个基于工作流引擎的开源框架，提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie 需要部署到 Java Servlet 容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。

Airflow

Airflow 是一个 Airbnb 的 Workflow 开源项目，使用 Python 编写实现的任务管理、调度、监控工作流平台。Airflow 是基于 DAG(有向无环图)的任务管理系统，可以简单理解为是高级版的 crontab，但是它解决了 crontab 无法解决的任务依赖问题。与 crontab 相比 Airflow 可以方便查看任务的执行状况（执行是否成功、执行时间、执行依 赖等），可追踪任务历史执行情况，任务执行失败时可以收到邮件通知，查看错误日志。

Apache Dolphinscheduler

DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Control-M

Control-MM 是一个商业版的跨平台的作业调度管理软件，功能强大，可编程性较弱。

Azkaban

Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban 使用 job 配置文件建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。Azkaban 要求所有节点对等部署，但是某些场景只要支持高可用不需要节点完全对等。

02 调度系统的服务

Timer Service

提供 crontab 表达式的定时服务，按固定的周期执行工作流。

DAG Compution

DAG 计算经常指的是将计算任务在内部分解成为若干个子任务，将这些子任务之间的逻辑关系或顺序构建成 DAG（有向无环图）结构。

Task Execution

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:b08eab70-c2a8-4ca4-b562-686b7d4754c8

Environment Manage

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:07248a8f-4f40-408e-a4ba-36085c64322d

Alert Service

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:5250ee81-acb3-4293-a0d5-4e06d9859af5

What’s more?

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:e972358c-1dd3-4894-9395-7a9ab112373c

03 Job 的元数据

​

Execution Cycle

(minutes,hourly,daily,weekly & monthly)

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c48036c3-d1b8-4d2d-a616-8590ec64d953

Dependency Meta

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:0a228174-3fcd-449c-a392-4207e0f34d2e

Output Meta

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:f6fb9d77-a7a4-451b-ad85-79006afb150e

Dependency Meta Classfication

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:fb3c6edf-bfdf-4338-ba20-1cd9a350f741

Dependency Meta Source

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:ed33feb2-af96-41c5-b66e-48b7481c497b

Job Parallel Execution Info(parallel,serial)

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:242a1489-fba0-46b5-acbd-1d7f514b8a0a

Job Type

任务类型（SQL、SHELL、PYTHON、PROCEDURE 等等）。

04 Job 开发

​

Intergration IDE(script language,shell,sql,python etc)

集成IDE开发环境（script language,shell,sql,python 任务等）。

configurable resource file(jar，spark etc)

可配置的资源文件（jar,spark 无法通过文本编辑的任务等）。

custom components

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:a40ce78e-bb24-4c1a-8509-6d7ea490c7bb

Third Party Job

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:b09d1406-3208-4303-a366-d745ea891b1f

三、第三方作业集成

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c2d9e970-137f-4af2-af0c-0c53816126d9

第一种方式：pull

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:631aeff5-2df4-4038-a730-7f6a662c2eeb

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:2e93aae4-0e86-4fa1-9bc9-92673998ea9f

* 单点作业执行失败瓶颈。

缺点：需多次在第三方系统开发，以及在调度系统中配置调度。

​

第二种方式：push

• 调度系统提供可编程的API。
  [TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:e08b8737-1e3a-4e7d-9af1-d4f62e4ba1e8
  [En]

  [TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:b39d44b3-867a-4f79-881e-2ba725bfae59

01 任务的执行和通知

​

• 任务执行：自动触发、根据条件、上游任务依赖
• 任务通知：作业的执行进度和状态以消息推送的方式暴露给第三方系统。

02 数据集成的配置样例

​

以上列举了第三方系统集成的配置样例。

调度系统提供可编程的接口，实现环境信息的注入功能。在第三方系统中只需要声明不同类型的数据源，不需要配置各数据源的详细信息例如（ IP、端口、用户名、密码等），这部分在调度系统配置数据源和环境信息注入给任务。再由任务从参数中解析后访问对应数据源和环境。这样可以简化 ETL 任务数据源的管理功能。

03 作业的编排

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:69faf6c7-ad9c-4236-8bb3-4e14cdecc056

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:90740b1e-c7f0-46f7-bdac-3eb870743e88

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:ebdc6253-2947-4e32-b1b2-ae24eeba1783

* ETL 作业中部分表（某些维度表）是不变更的，可以把这些表加入到白名单中。工作流在自动变动、依赖解析时无需查找白名单中对应的表上游的业务逻辑。
* 视图是影响自动配置工作流程的重要因素。视图没有 ETL 任务，我们需要把视图考虑成一个虚拟的任务，把视图的数据导入到调度平台中 ，这样使得调度系统能够意识到依赖视图的任务本质上是依赖视图中对应基本表的任务。

04 作业的影响分析

​

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:fa2b0bb5-cd9d-4cb7-8126-b83453ad9fd1

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:224bb1b4-aaeb-46b4-a4d0-dc0b9e1450df

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:823bb01c-69bd-4c71-974a-0ec48c5be7f8

05 低代码平台

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:9897c3ec-14be-4371-b802-6c9772b36740

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:6a13e973-53e4-4558-8a2e-147437edeb4d

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:31576ffa-870b-4367-8a18-33770637685b

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:58ebc60b-95bd-4061-8ce4-fcbed435b7b1

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:ef9f7f1a-f778-4290-86dd-e26aab2ecd3c

参与贡献

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A”volunteer+wanted”

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:7048ceab-fe2d-455e-8541-057c9c936d82

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:bd747002-7132-4d0c-a2fc-8e483da1f000

Original: https://www.cnblogs.com/DolphinScheduler/p/16710743.html
Author: 海豚调度
Title: ApacheCon Asia 2022 精彩回顾 | 如何让更多人从大数据中获益？