一种ETL数据整合架构设计与实现

近年来中国石油不断加大节能减排力度,节能节水管理业务系统承载的数据上报任务变得越来越繁重,然而业务管理需求复杂多变是普遍存在并始终贯穿于业务系统生命周期各阶段的问题。本文结合中国石油节能节水业务数据特点,在对经典ETL数据集成方法深入分析、继承的基础之上,给出一种基于多类型数据源ETL设计,对地域分布广、数据结构松散、逻辑关联复杂的节能节水业务数据进行有效整合,大容量样本数据测试表明,该ETL设计具有较高的数据整合性能。