暂无搜索历史
元数据是关于数据的数据,是对数据的描述,元数据又分为三类:管理元数据、业务元数据和技术元数据。而字段或表级血缘关系就是技术元数据,关于业务元数据...
数字化转型是业务、流程、管理和技术一次变革,随着企业数字化进程加快,各业务形态整合深入,相关业务系统迭代加速,数据多样性非结构化、半结构化和结构化数据涌现...
随着大数据时代的到来,伴随着是“海纳百川、有容乃大”种类繁多的海量数据爆炸式增长;有“天下武功,为快不破”惊人的数据处理速度;可挖掘“运筹帷幄胜...
在构建数据仓库总线矩阵完成后,可着手事实表和维度表的设计。数仓总线矩阵里每个业务过程都会生成至少一张事实表(识别业务过程的本质就是识别要构建的事...
最近笔者参与并完成了数据中台从0到1的建设,当然数据中台如何定义争论也很多,这里笔者此篇文章不去讨论,但数据仓库是数据中台能否解决数据复用、数据...
本篇文章笔者以Kimball维度建模方法论为前提关于维度展开的讨论,写一点关于维度的看法。在实际维度建模过程中,建模工程师在做维度设计时,往往分不清哪些...
说明:本文分为四个部分内容:背景、Chandy_Lamport算法、Flink Checkpoint对齐机制和总结。
说到数据中台的产生,我们不得不从数据工作的痛点来切入。我总结了八个方向,这八个方向可能不足以覆盖数据工作中的所有痛点,但肯定是数据工作中最痛的八个点。
之前笔者在介绍 Flink 1.11 Hive Streaming 新特性时提到过,Flink SQL 的 FileSystem Connector 为了与 F...
有数据分析师曾抱怨:80%时间在清洗数据、加工数据和识别数据,仅有20%时间在做数据分析。面临这种困境的原因,大致有三点:
数据血缘关系包含了集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系,其指向数据的上游来源,向上游追根溯源。这里指的血缘关系一般是指表级和字...
数据标准是保证数据一致地、准确地交换和共享的一系列规范性约束。具体可从数据编码,名称、术语、语义、计算口径、字段、数据类型和数据格式等统一数据标...
据说,英语中元数据meta一词最早出现于1968年,其是对希腊语前缀"meta-"的粗略翻译,用于表明更抽象层次的事物。尽管元数据一词只有几十年...
说明:由于数据全生命周期管理主题涉及内容较多,因此分两篇文章分享。数据全生命周期(采集、存储、整合、呈现与使用、分析与应用、归档和销毁)相关内容...
随着大数据时代的到来,流动的数据已经成为连接全世界的载体,也成为促进经济社会发展、便利人们产生生活的源动力。伴随着数据的流动,尤其是为了解决流动...
ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Ant...
Flink 任务是一个DAG图,由多个节点(Operator)组成,部分上下游的节点在运行时可以合成为一个节点,称为算子链Chain。Chain...
本文参考Flink1.10官方多篇文章相关知识收集、翻译、整合和内化而写成的关于Flink内存模型详解的文章,其中Job Manager、Tas...
Apache Flink是用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎,可为数据流上的分布式计算提供数据分发,通信和容错能力。Fli...
ApacheFlink是一个框架和分布式处理引擎,用于在无限和有界数据流上进行有状态计算。Flink被设计成在所有常见的集群环境中运行,以内存速...
暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市