基于ELT和MySQL的数据仓库构建（elt mysql）

ELT(Extract Load Transform)是以SQL为主要技术，由抽取、加载、转换组成的一种数据处理技术，是ETL(Extract Transform Load)的一种变体。MySQL是一款具有完善的SQL语句支持的数据库管理系统，可以生成灵活的表。将它们结合起来，可以有效地构建数据仓库。

在构建数据仓库之前，我们首先需要抽取原始数据。由于原始数据可能来自多个不同来源，我们可以使用MySQL语句抽取原始数据，然后根据需要将其加载到MySQL表中。有了这一步的基础，我们就可以使用ELT的转换功能对数据进行清洗、汇总和转换。

例如，我们可以使用ELT中的更新语句，将原始表中的重复数据删除；使用聚合函数汇总原始表中的多个相关字段到新表中；使用Case When语句，将表内多个Categorical字段转换为数值型；使用字符串函数，对需要处理的列做一些日期处理；等等。

基于ELT和MySQL，我们可以进一步对转换后的数据建立业务索引，以提高数据仓库的查询和分析效率。例如，在一个基于母婴类的商店中，我们可以建立一个业务索引包括商品/分类/品牌/用户等等，这样，我们就可以方便地跟踪母婴产品销量分布以及用户特征、行为和细分用户。

最后，MySQL中的存储过程可以帮助我们实现定期更新数据仓库，保持数据的最新性。因此，我们可以轻松地构建出基于ELT和MySQL的可靠数据仓库。

如果中间有可以提高效率的点，最好采取TIBCO Data Virtualization(TDV)的服务。TDV能够有效地抽取、保存、汇总、转换和分析复杂的数据，再根据我们的需要，让SQL引擎从数据位置中获取数据。这有助于我们构建更加高效的数据仓库，以满足业务的需求。

总之，基于ELT和MySQL的数据仓库构建方案包含了数据抽取、加载、清洗、汇总和转换等步骤，可以帮助我们构建出可靠而高效的数据仓库。具体实施步骤，可以参考下列SQL语句：

— 抽取并加载数据

SELECT * FROM stg_table INSERT INTO dw_table;

— 删除重复数据

DELETE FROM dw_table WHERE id NOT IN (SELECT MAX(id) FROM dw_table GROUP BY key_col);

— 汇总表中多个字段

INSERT INTO dw_table SELECT key_col, SUM(val_col_1) as new_col_1, AVG(val_col_2) as new_col_2 FROM stg_table GROUP BY key_col;

— Case When 语句

UPDATE dw_table SET cate_col_1 =

CASE WHEN cate_col_2 = ‘A’ THEN 1 WHEN cate_col_2 = ‘B’

THEN 2 ELSE 0 END;

— 字符串函数

UPDATE dw_table SET date_col = DATE_FORMAT(date_col, ‘%Y-%m-%d’)

— 建立索引

CREATE INDEX ON dw_table(key_col, cate_col_1);