数据仓库相关概念

什么是OLAP/OLTP?

联机事务处理:OLTP,全称On-line Transaction Processing

联机分析处理:OLAP,全称On-line Analytical Processing

孤立性我们常常称为隔离性。

上钻:从粗粒度往细粒度进行细化

上卷:从细粒度往粗粒度进行汇总

多个维度的数据形成了数据立方体,我们在对部分维度进行限制的时候,就相当于对数据立方体进行了切块,当限制部分维度的值为固定值的时候,数据立方体就被切成了片,非常形象化。

旋转:把行和列进行对调,例如按照地区统计各产品销量信息,和按照产品统计各地区销量。

OLAP是业务分析导向,一般不符合范式规则,常常有很多数据冗余,传递依赖等,优点是查询效率很高,很少的join操作,一般一张业务报表仅来源于一张底层表,常见于各种即席分析系统如Kylin,Druid等。早期也会使用关系型数据库,现在常见使用分布式集群进行处理,如Hive等。

OLTP是业务效率导向,几乎没有数据冗余,表非常多,各种维表码表,符合三范式,增删改查频繁,常见如ERP,SAP,企业OA等系统。一般使用关系型数据库,MySQL,Oracle等。

数仓整体开发流程