数据仓库之分层模型

一、各行业使用的分层模型

不同的行业使用的分层也有所不同,但思想都差不多

1.电信通讯

stage层 ->bdl层 ->analysis层

2.传统金融/保险

ods层 ->pdm层 ->dm层

3.互联网金融/电商

odl层 ->bdl层 ->idl层 ->adl层

二、专业术语

ODL层 (Operational Data Layer):操作数据层
  保存原始数据。外部数据什么样,该层数据就是什么样(关系型数据库、JSON格式等)。

BDL层 (Base Data Layer):基础数据层
  做统一的清洗处理。去重、去噪、字典翻译、空值转化,日期格式化等操作。

IDL层 (Interface Data Layer):接口层,也称主题表,宽表
  业务数据底表。在bdl层上,join各表后产生业务所需要的完整数据。

ADL层(Application Data Layer):应用层 ,也称数据集市**
  与需求对接。由idl层基于某些维度的深度加工统计汇总等操作转化而来,涉及到多个主题以及tmp数据之间的关联JOIN后的结果。

DIM层(Dictionary Data Layer):字典层,又称dic层
  存储一些诸如省、市、县区域表、渠道列表、商品类目等等表数据,可以从数据源sqoop导入。

TMP层(Temporary Data Layer):临时层
  存储一些中间计算结果

  1. 层次间的转换没必要循规蹈矩,按部就班,适当做到灵活,避免重复清洗浪费资源
  2. ODL层干净的关系型数据可以直接转换为IDL层数据,减少计算量
  3. ODL层侧重与外部对接,BDL层/TMP层/IDL层侧重清洗,IDL层和ADL层侧重对外提供应用服务
  4. 层数太少不够灵活,太多则在数据推翻重洗耗时,时间成本(一个坑)
  5. 数据源提供的数据越详细越好,避免后期大量重复的清洗工作。

此外,大家可能经常听到“星型模型”和“雪花模型”,简单解释下
(1)星型模型:事实表+维度表(区域、类目、性别…)等多表通过预先JOIN冗余到一张宽表里去,常见IDL层。
(2)雪花模型:在计算的时候,才将事实表跟维度表做join。

现在一般都是采用(1)的模式,为什么呢? 预先计算,提高性能,避免后续重复计算。CPU和内存的资源永远比磁盘空间宝贵的多。至于(2)的方式,有点就是灵活,不需要太多的重复清洗,但是性能不如(1).

  数据仓库的建设需要从从需求出发,逆推应用层ADL结构,进而推导出它涉及的主题表IDL表结构,再推导可能涉及的基础表BDL表结构,最后分析所需的数据源取自何处。需求需要包含“明确”需求和“潜在”需求。

三、开发步骤

  1. 创建ODL、BDL、IDL、ADL层表结构(HQL)
  2. 确定数据抽取方案(增量或全量)
  3. 编写sqoop脚本将数据同步到dim层、使用脚本将源数据同步到odl层
  4. 编写ODL->BDL->IDL->ADL层ETL清洗脚本(HQL)
  5. 确保上一层的数据稳定,减少对下一层的影响
  6. 编写azkaban、Ooize脚本
  7. 打通Kylin、FineBI、Hive关系,实现数据可视化、可导出目标

四、HIVE开发规范

表命名规范

ODL层:表名前缀 odl_
BDL层:表名前缀 bdl_
IDL层:表名前缀 idl_
ADL层:表名前缀 adl_
TMP表:表名前缀 tmp_
DIM表:表名前缀 dim_

外部表和内部表

尽量使用内部表。从数据安全的角度考虑,源数据可能被丢失,损坏,而这些情况在hadoop集群上发生的几率更小

建表规范

  • 每个表增加个ds时间分区,表示数据是哪一天的,也方便重跑数据
  • boolean类型统一使用0或1
  • 钱相关的金额建议使用decimal,而非double ,避免一些计算导致精度不准确
  • 日期格式使用 YYYY-MM-DD HH:MM:SS 、YYYY-MM-DD或 YYYYMMDD格式
JouyPub wechat
欢迎订阅「K叔区块链」 - 专注于区块链技术学习