主题
通用ETL是什么?
wueasy通用ETL是一个把原始数据从多个数据中抽离,通过ETL服务加工存储至一个宽表中。支持从多个零散表中快速配置到表单中;对于特别复杂的场景可以代码自定义处理。
数据抽取
数据抽取是从源系统中获取业务数据的过程。为了确保不影响系统的性能,数据抽取需要考虑多种因素,如提取方法(增量提取或全量提取)、提取时间和提取周期。抽取到的数据会临时存储到ETL工具的中间层中。
数据转换
数据转换是对抽取到的数据进行清洗、转换和集成的过程。数据清洗的目的是选择有缺陷的数据,然后正确和标准化它们,以满足用户所需的数据质量标准。数据转换则是将数据从一种格式转换为另一种格式,以适应不同的应用场景。数据集成则是将分散的数据整合到一起,形成一个完整的数据集合。
数据加载
数据加载是将处理后的数据加载到目标系统中。