更好的方式来模型数据_数据分析模型
在过去的三十年ERP,CRM和分析系统已经发展。但是以何种方式与系统存储的数据也没有。事实上,在这些三十年一直存在的方式中的ERP,CRM和分析系统存储的数据没有改变。
一般来说,现代的ERP和CRM系统是基于已建模到一个名为OLTP 30年以上的旧数据模型数据(RDS – 3次范式)。OTLP代表联机事务处理。
一般来说,现代分析系统是基于已建模到一个名为OLAP(星和雪花模式)30年以上的旧数据模型数据。OLAP代表联机分析处理。
基于业务流程的ERP和CRM系统存储的数据,因为它们发生而很少考虑到如何进行分析。正因为如此,这些系统不与现代分析系统兼容。
分析系统采取从ERP和CRM系统的数据,并改变它的数据转换成不同的格式(OLAP)进行处理。然而,已被转换成用于分析处理OLAP数据模型数据不是对于OLTP兼容。
因此,眼下真正的问题是:
- ERP和CRM系统不支持分析处理或报告。
- 分析处理,需要将被转换成不同的格式(或数据模型),其不与ERP和CRM(OLTP)为基础的系统兼容的数据。
除了ERP,CRM和分析系统; 有必要分析非结构化数据。非结构化数据是没有被组织的数据并通常来自几个不同的来源。此数据建模到一个完全不同的格式比OLTP和OLAP系统,称为大数据。
为什么数据建模成不同的格式,你问?我们已被告知多年来是它是基于系统的需要。如果它是一个事务处理的系统则需要数据被建模成OTLP数据模型。如果你需要分析的支持,那么它模拟成OLAP数据模型。如果你需要分析的数据是非结构化的,那么模型,成为大数据格式。
我个人形容这为“数据文化”。我用的是“文化”一词,因为那些谁设计这些系统不仅自己的专业范围内开展工作。你没看到OLTP数据建模师OLAP数据建模系统,反之亦然。同一般可以为那些在大数据工作的舞台可说。
这样做的原因和影响是什么创造了我们现在生活在数据的文化。比如数据开始在源头。谁创建这些源系统模型数据转换为OLTP格式的人。因为别人做的数据分析支持,他们只专注于一个30 +岁的方法论OLTP。
旁边的人谁消耗这些数据必须考虑什么是源系统已经创建,并且模式,以满足他们的需求。随着时间的推移,这个人接受的事实,他们将永远是造型OLTP数据转换为OLAP数据。这便成为数据的文化。
但是我们需要的是一个数据建模拿出支持了坚实的数据模型,提供了所有这些数据需要支持的方法。此数据建模必须了解所有三种数据模型的需求:OLTP,OLAP和大数据。
在8年前,蜘蛛架构数据模型的建立是为了提供一个更简单的方法来OLTP数据模型与数据的OLTP模式的优点支持的OLAP数据模型。在过去的8年这个数据模型已经被证明了是:更快的数据处理,使用更少的存储空间,更灵活,并提供了不仅OLAP,但OLTP和大数据的全面支持。
转载请注明:数据分析 » 更好的方式来模型数据_数据分析模型