数仓分层
数据仓库
简介
包括etl、调度、建模在内的完整理论体系，以查询和分析为基础，应用于OLAP，支持复杂分析操作，侧重决策支持，提供直观易懂的查询结果
特点
- 面向主题
- 集成
- 不可修改
- 与时间相关
数据分层
基础分层思想：数据运营层、数据仓库层、数据服务层
数据运营层：
- 数据运营层ODS：Operation Data Store数据准备层，贴源层
- 数据仓库层DW：从下到上DWD，DWB，DWS
- DWD：Data Warehouse Details细节数据层，业务层和数据仓库隔离层，主要是对ODS数据层走一些数据清洗和规范化操作；
- DWB：Data Warehouse Base数据基础层，客观数据，用作中间层，可以认为是大量指标的数据层；
- DWS：Data Warehouse Service数据服务层，主题域的服务数据层，宽表；
- 数据服务/应用层ADS：数据产品和数据分析使用，存储在ES、MySQL等系统；
数据库设计三范式
- 第一范式：确保每列原子性，数据库表中所有字段都是不可分解原子值；
- 第二范式：确保每列都和主键相关，一个表只存一种数据；
- 第三范式：确保每列都是主键直接相关，而不是间接；