「大数据的关键思考系列」8:数据分类的四大维度(1,2)

作者 | 橙子

审核 | gongyouliu

编辑 | auroral-L

数据分类的四大维度(1,2)

在上一期内容中和大家探讨了”数据分类与数据价值”。今天想和大家分享的是”数据分类的四大维度(1,2)”。

我们可以从不同维度将数据分为以下四种。

维度一:以是否可以再生为标准。按照是否可以再生的标准来看,数据可以分为不可再生数据和可再生数据。不可再生数据通常就是最原始的数据,比如用户在访问网站时浏览记录会追踪用户的行为,如果当时没有被记录下来,就没有其他数据来还原用户的行为了。因此,对于用户日志类等不可再生数据而言,必须要有很完善的保护措施和严格的权限设置。

可再生数据就是通过其他数据可以生成的数据。原则上,指标类数据的衍生数据都是可再生的,只要原始的不可再生数据还在,就可以通过重新运算来获得。不过,千万不能因为”可再生”这个词语的存在,就对可再生数据掉以轻心。有些可再生数据是通过很长时间的积累不断加工而成的,是长时间从海量数据中计算出来的。

对于不可再生数据而言,已有的数据要严格保护,想要但是还没有的数据就要及早收集。对可再生数据而言,要及早做好业务的预判和数据处理的规划。这样一来,数据在需要的时候就能够快速的获得应用,我们把这一数据叫做数据中间层。

维度二:以数据所处的存储层次为标准。按照数据所处的存储层次来看,数据可以分为基础层、中间层和应用层。从数据的存储角度来说,数据有很多层次。基础层通常与原始数据基本一致,也就是仅仅存储最基本的数据,不做汇总,以尽量避免失真,从而用作其他数据研究的基础;中间层是基于基础层加工的数据,通常也被认为是数据仓库层,这些数据会根据不同的业务需求,按照不同的主体来进行存放;应用层则是针对具体数据问题的应用,比如作为解决具体问题的数据分析和数据挖掘的应用层的数据。

在存储层这个层面上,最大的问题就是数据的冗余和管理的混乱。尤其是对于一些拥有海量数据的大公司而言,数据的冗余问题尤为严重,由此造成了大量的浪费。在大公司进行数据分析、开发、挖掘的人可能是是数十甚至数百人,这些人可能归属于不同的业务团队,为了满足不同的业务各自分析数据应用。这样一来,不同的人可能都从头开始建立起了一套包括基础层、中间层和应用层的数据,而彼此之间又没有合适的交流方式,也就造成了工作的浪费。

作者认为基础层必须统一,这是因为最基本的数据,而且基本数据是原始数据,除了备份的需求外,没有必要在各个场合保留多份数据。只要保证这个数据有良好的元数据管理方式,就能极大地降低成本。而对于中间层和应用层而言,则要视具体情况而定。如果公司的业务相对单一,且成本压力比较大,则建议集中式管理;如果公司的业务量非常大,则可以由多个数据团队来进行分散式管理和应用,以保证基础层单位有最高的灵活性。

本期的内容到这里就结束了,下期内容会和大家探讨”数据分类的四大维度(3,4)”。欢迎大家关注数据与智能获取更多好内容。

本文的视频版本可以直接点击下面视频观看,欢迎关注数据与智能视频号获取更多精彩视频。

「大数据的关键思考系列」8:数据分类的四大维度(1,2)

Original: https://blog.csdn.net/qq_43045873/article/details/121964920
Author: 数据与智能
Title: 「大数据的关键思考系列」8:数据分类的四大维度(1,2)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/696440/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球