Flink实战剖析

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV0

发表了文章 2022-11-212022-11-21 20:23:40

OLAP介绍

OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说...

Flink实战剖析 2022-11-212022-11-21 20:23:40

windows、hadoop、hive、spark、分布式

发表了文章 2022-11-212022-11-21 20:23:05

ZooKeeper数据存储与数据同步机制

ZooKeeper中，数据存储分为两部分，内存数据(ZKDatabase)与磁盘数据(事务日志 + 事务快照)。

Flink实战剖析 2022-11-212022-11-21 20:23:05

zookeeper、数据库、sql、存储、缓存

发表了文章 2022-11-212022-11-21 20:21:16

Flink中: 你的Function是如何被执行的

在Flink编程中，不管你是使用DataStream api还是 Table/SQL ，接触最多的就是UserFunction ，比喻说MapFunction...

Flink实战剖析 2022-11-212022-11-21 20:21:16

flink、apache、大数据

发表了文章 2022-06-102022-06-10 17:55:59

知根知底: Flink Kafka-Producer详解

在实时数仓分层中，Kafka是一种比较常见的中间存储层，而在分布式计算中由于硬件、软件等异常导致的任务重启是一种正常的现象，通过之前的Kafka-Consume...

Flink实战剖析 2022-06-102022-06-10 17:55:59

kafka、flink、大数据

发表了文章 2022-06-102022-06-10 17:55:12

HBase写入全流程剖析

HBase采用LSM树架构，天生适用于写多读少的应用场景。在真实生产环境中，也正是因为HBase集群出色的写入能力，才能支持当下很多数据激增的业务。需要说明的是...

Flink实战剖析 2022-06-102022-06-10 17:55:12

hbase、TDSQL MySQL 版、数据结构、javascript、node.js

发表了文章 2022-06-102022-06-10 17:53:53

知根知底：Flink-KafkaConsumer 详解

Flink-Kafka Connector 是连接kafka 的连接器，负责对接kafka 的读写，本篇主要介绍kafka consumer 的执行流程与核...

Flink实战剖析 2022-06-102022-06-10 17:53:53

node.js、kafka、flink、大数据

发表了文章 2022-06-102022-06-10 17:53:14

HBase RowKey 设计与查询实践

HBase 作为一款分布式的NoSQL数据库，数据的分布根据rowKey range方式来划分，每个Region 存储了一定范围rowKey 的数据，数据的读...

Flink实战剖析 2022-06-102022-06-10 17:53:14

hbase、TDSQL MySQL 版、http

发表了文章 2022-04-202022-04-20 08:17:42

ZooKeeper在HBase集群中的作用

ZooKeeper作为分布式协调组件，在大数据领域的其他分布式组件中往往扮演着重要的辅助角色，因此我们就算不单独去研究ZooKeeper，也短不了要接触它。本文...

Flink实战剖析 2022-04-202022-04-20 08:17:42

hbase、TDSQL MySQL 版、node.js、zookeeper、javascript

发表了文章 2022-04-182022-04-18 13:48:25

Clickhouse-MergeTree原理解析

表引擎是ClickHouse设计实现中的一大特色。可以说，是表引擎决定了一张数据表最终的“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。C...

Flink实战剖析 2022-04-182022-04-18 13:48:25

数据库、sql、文件存储

发表了文章 2022-04-182022-04-18 13:47:00

Count-Distinct实践: 万亿级数据量任务优化方式

在默认情况下，相同的visit_type 的pv_id 会被分配到同一个reducer中处理，如果某个visit_type的数据量特别大，那么对应的reduce...

Flink实战剖析 2022-04-182022-04-18 13:46:59

sql

发表了文章 2022-04-182022-04-18 13:46:19

join实践: 万亿级数据量任务优化历程

重新分析两张表数据量，a 表数据量750w+, b 表数据量350w+，在未做任何优化情况下数据是需要经过shuffle，将相同的key分布到相同的节点上...

Flink实战剖析 2022-04-182022-04-18 13:46:19

sql、join、key、merge、shuffle

发表了文章 2022-04-182022-04-18 13:45:44

数仓设计的几点原则

高内聚、低耦合是软件设计的常见概念，特别是在软件模块划分中会被常常提起，需要将功能相同的内聚在一起，将职责不同的功能解耦，比喻说常见的MVC 分层模式，每一层...

Flink实战剖析 2022-04-182022-04-18 13:45:44

hbase、数据库、云数据库 SQL Server、sql、TDSQL MySQL 版

发表了文章 2022-04-182022-04-18 13:44:55

闲聊面试

最近有不少同学咨询面试应该怎么准备？一般面试官会问哪些问题？对于这些比较困惑或者是感觉需要准备的东西太多了无从下手，所以这篇文章主要聊聊自己的看法，希望能够帮助...

Flink实战剖析 2022-04-182022-04-18 13:44:55

flink、大数据

发表了文章 2022-04-182022-04-18 13:43:57

Flink程序设计之道

软件架构的复杂性通常并不是由功能性需求来决定，而是取决于非功能性需求，例如高性能、高可用、易扩展、易运维、低成本等要求，功能性需求通常是易于实现的，但是为了满足...

Flink实战剖析 2022-04-182022-04-18 13:43:57

flink、大数据、数据结构

发表了文章 2022-04-182022-04-18 13:42:46

AliExpress基于Flink的广告实时数仓建设

摘要：实时数仓以提供低延时数据指标为目的供业务实时决策，本文主要介绍基于Flink的广告实时数仓建设，主要包括以下内容：

Flink实战剖析 2022-04-182022-04-18 13:42:46

云计算、flink、大数据、实时数仓、hbase

发表了文章 2022-04-182022-04-18 13:40:44

Flink端到端一致性

流式计算中，端到端表示从外部读取数据、中间处理、数据输出外部三个处理环节。在理想状态即7*24任务不出错或者异常情况下，也就是每一步处理都正常，那么就能保证最终...

Flink实战剖析 2022-04-182022-04-18 13:40:44

flink、大数据、node.js

发表了文章 2022-04-182022-04-18 13:40:09

数仓指标一致性

正确性：正确性代表了指标的可信度，如果一个指标无法保证其正确性，那么是不能提供出去使用，因为很有可能会导致作出错误的业务决策，通常会使用明细数据对比、维度交叉对...

Flink实战剖析 2022-04-182022-04-18 13:40:09

olap

发表了文章 2022-04-182022-04-18 13:38:58

编码方式实现Split Distinct Aggregation功能

去重指标作为业务分析里面的一个重要指标，不管是在OLAP存储引擎还是计算引擎都对其实现做了大量工作，在面对不同的数据量、指标精确性要求，都有不同的实现方式，但是...

Flink实战剖析 2022-04-182022-04-18 13:38:58

javascript、sql

发表了文章 2022-04-182022-04-18 13:38:25

从需求场景下出发实操Clickhouse

本着以实时数仓为目标调研了几款OLAP引擎，像Clickhouse、Kylin、Druid等，在粗略了解其架构后，并且在接受各个大厂Clickhouse实践、高...

Flink实战剖析 2022-04-182022-04-18 13:38:25

jquery、node.js、大数据、运维

发表了文章 2022-04-182022-04-18 13:36:41

Flink-Cep实现规则动态更新

规则引擎通常对我们的理解就是用来做模式匹配的，在数据流里面检测满足规则要求的数据。有人会问为什么需要规则动态变更呢？直接修改了规则把服务重启一下不就可以了吗，这...

Flink实战剖析 2022-04-182022-04-18 13:36:41

api、processing、flink、大数据

12 3 4 5 下一页

个人简介

阿里巴巴 | crud & sql boy
公众号：Flink实战剖析。分享不限于Flink、数据仓库、OLAP、NoSQL 等大数据相关知识。
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2019-10-20

个人成就

获得 247 次赞同
文章被阅读 85.5K 次

关注了：1关注者：37