ETL系统的研究与实现

发布时间：2022-03-08 15:09:11 浏览数：次

(1.北京交通大学电子与信息学院，北京 100044; 2.河北工业大学，天津 300130)
摘要：文章介绍了ETL(Extract-Transform-Load)的实现，其主要作用在于对各类业务数据进行清理、标准化和汇总，为基于数据仓库的决策分析应用提供高质量的数据。
关键词：ETL；元数据管理；数据仓库
中图分类号：TP311 文献标识码：A 文章编号：1007—6921(2008)20—0082—01

随着全球信息一体化建设步伐的不断加快，越来越多的企业开始构建自己的数据仓库系统，希望能对历史数据进行具体而又有针对性的分析与挖掘，以期从中发现客户新的需求和新客户。同时，很多企业开始提供整套的数据仓库解决方案，包括ETL工具。
1 ETL系统分析

本文所设计的ETL工具对存在于不同平台上的异构数据源进行抽取，然后把数据缓冲到内存中按照用户定义的规则进行转换，最后把转换好的数据加载到目标数据库中,主要从以下几个方面进行考虑：
1.1 对多种数据源的支持

目前，市场上存在着各种各样的数据源，主要包括以下几种：SqlServer等数据库,XML文件, Excel文件等。所以在设计ETL工具时，要考虑让它尽可能的支持多种数据源。
1.2 可扩展性和可集成性

可扩展性主要是考虑到该软件的应用扩展，这要求对整个系统进行模块化设计，可以根据需求动态扩展新的应用模块，并且新增模块不影响原来模块的使用，尽量减少系统的耦合。可集成性主要考虑很多应用需要把ETL工具嵌入到各自的应用系统中，所以在设计ETL的时候，应对整个系统的各个模块接口进行充分考虑，尽可能让各个接口进行参数化调用。
2 ETL系统设计
2.1 软件系统架构设计
软件系统架构如图1所示：

图1中，ETL工具把源数据和目标数据库分开，工具从左边的数据源抽取数据，然后清洗、转换、加载到右边的目标数据库（一般是数据仓库或数据集市）。首先，ETL工具扫描数据源和目标数据库的体系结构信息，并存储在元数据库中；用户在定义ETL规则时，系统从元数据库中取得数据源和目标数据库的体系结构信息，用户在规则定义界面中进行简单拖放操作建立从源到目的的字段映像，再定义流程中的清洗、转换规则和加载规则，定义完成后把规则保存在元数据库中；当用户选择一个已经定义好的ETL工作，并执行时，系统从元数据库中取得该ETL工作的抽取、清洗、转换、加载规则，并进行解析、分配到不同的线程中；当数据处理完毕后，把本次的作业执行统计信息保存到元数据库中。

系统分为三大模块，分别为：元数据管理、用户接口、执行服务器。元数据管理的主要作用就是扫描数据源和目标数据库的体系结构信息以及存储用户定义的ETL规则，管理元数据库中的元数据。用户接口和执行服务器相互独立，它们之间的逻辑关系通过元数据库进行关联，所以用户接口和执行服务器可以分开设计和实现。
2.2 网络架构设计
网络架构如图2所示：

从图2中，我们可以看出系统的三大模块可以分布于不同的机器上，甚至可以分布在不同的网络中，而且可以有多个客户端用户。在数据抽取、加载方面，由于ADO.NET具有穿透防火墙的能力，所以，源数据库和目标数据库可以分布在不同的网络中。
3 总结

ETL在数据仓库构建过程中的角色，决定了它在商业领域有非常大的市场空间。在技术领域，ETL必须能够适应各种复杂的应用环境，具有全面的功能和高的工作效率，并方便用户使用。今天，越来越多的企业正在构建数据仓库来满足其战略决策需要，而采用ETL工具进行数据集成，也已成为企业实施数据仓库项目的首选方案。
［参考文献］
［1］楼伟进等数据仓库与知识发现［J］计算机工程与应用，2000，(10).
［2］柳莺，等数据仓库技术研究和应用探讨［J］计算机应用，2001，(2).
［3］ (美)贝尔松(Berson,A),等数据仓库、数据发掘和联机分析处理［M］世界图书出版公司.

相关热词搜索：研究系统 ETL