数据仓库分层架构详解：ODS、DWD、DWS、ADS层及其实现工具

原创

已于 2025-04-29 14:54:52 修改 · 2.8k 阅读

标签

#数据仓库 #架构 #dws #ods

于 2025-04-29 14:50:45 首次发布

数据仓库分层架构详解：ODS、DWD、DWS、ADS层及其实现工具

1. 数据仓库简介

数据仓库（Data Warehouse，DW）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。与传统的业务数据库不同，数据仓库主要用于数据分析和决策支持，而非日常事务处理。

数据仓库的核心价值在于：

整合企业各系统数据，提供统一的数据视图
存储历史数据，支持时间序列分析
提供强大的分析能力，支持复杂的数据挖掘和报表生成
分离分析环境与业务系统，避免分析任务对业务系统的影响

为了更好地组织和管理数据，现代数据仓库通常采用分层架构，常见的分层包括ODS、DWD、DWS和ADS四层。这种分层设计既可以提高数据处理效率，又能保证数据质量和一致性。

2. 数据仓库分层详解

2.1 ODS层（Operational Data Store，操作型数据存储层）

ODS层是数据仓库的数据准备区，也是数据仓库的数据缓冲层。其主要职责是将来自不同源系统的原始数据进行简单清洗后存储，保持数据的原貌，为后续的数据加工提供基础。

主要特点：

存储原始数据，保留数据的历史面貌
数据格式与源系统保持一致
数据未经过太多处理，仅做必要的清洗
通常按照数据源进行物理划分

示例代码（Hive建表）：

CREATE EXTERNAL TABLE ods_user_info (
    user_id STRING COMMENT '用户ID',
    username STRING COMMENT '用户名',
    gender STRING COMMENT '性别',
    age INT COMMENT '年龄',
    register_time STRING COMMENT '注册时间',
    update_time STRING COMMENT '更新时间'
) COMMENT '用户信息表'
PARTITIONED BY (dt STRING COMMENT '日期分区')
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS ORC
LOCATION '/warehouse/gmall/ods/ods_user_info';

2.2 DWD层（Data Warehouse Detail，数据仓库明细层）

DWD层是在ODS层基础上，对数据进行清洗转换，并按照业务过程进行划分的明细层。在这一层，数据开始具有业务含义，并且经过了数据质量保障处理。

主要特点：

基于业务过程而非数据源组织数据
进行了维度建模，通常采用星型模型或雪花模型
数据经过了清洗和标准化处理
保留明细粒度，不做聚合

示例代码（数据清洗和转换）：

-- 从ODS层加载数据并进行清洗转换后加载到DWD层
INSERT OVERWRITE TABLE dwd_user_info PARTITION(dt='2023-06-01')
SELECT
    user_id,
    username,
    CASE gender 
        WHEN 'M' THEN '男' 
        WHEN 'F' THEN '女' 
        ELSE '未知' 
    END as gender,
    age,
    TO_DATE(register_time) as register_date,
    current_timestamp() as etl_time
FROM ods_user_info
WHERE dt='2023-06-01'
AND user_id IS NOT NULL;