Dataworks
Dataworks
Overview
参考:MaxCompute/DataWorks 数据集成与开发实践-阿里云开发者社区 (aliyun.com)
资料较老主要想看看dataworks原始设计和发展,了解数据开发中一些概念
数据集成
将多方面数据聚集,主要难点在于需要兼容多个、多类型数据源和数据中心的多种不同同步方式,同步过程中需要监控等。
数据集成架构
数据开发
数仓规范
数据开发阶段规范化
类似软件开发生命周期,数据开发生命周期?
工艺流程
实现
数据模型层次
ODS, Operation Data Store 数据引入
监控运维
运维中心
- 任务管理
- 周期控制