chaplinthink的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

chaplinthink的专栏

专栏成员

47

文章

47105

阅读量

12

订阅数

[译]使用Python和Dash 创建一个仪表盘(上)

python 布局函数可视化数据

在数据科学和分析的领域,数据能力的释放不仅是通过提取见解的方式, 同时也要能通过有效的方式来传达见解.这就是数据可视化发挥见解的地方.

2023-10-16

6120

模型事件数据数据仓库性能

海盗指标法(AARRR海盗模型) 它反映了增长是系统性地贯穿于用户生命周期各个阶段的：用户拉新(Acquisition)、用户激活(Activation)、用户留存(Retention)、商业变现(Revenue)、用户推荐(Referral)

2023-10-16

2170

logback.xml详解

xml java 日志服务 jquery

之前博文有专门介绍过基于Log4j Appender 实现大数据平台组件日志的采集, 本篇主要对java项目中经常会接触到的logback.xml文件的配置做一个介绍和总结.

2022-10-28

8710

Rust学习入门

编程算法打包 rust ide

高性能,内存利用率高,没有运行时和垃圾回收可靠 , 丰富的类型系统和所有权模型保证内存和线程安全,编译器可以消除各种错误生产力, 包管理器、构建工具一流, 多编辑器支持自动补齐和格式化代码

2022-10-05

3480

Hive一次更新多个分区数据方案

场景订单数据之类的业务表，因为有状态要更新，比如订单状态，物流状态之类的，需要同步很久之前的数据到Hive. 如何同步时在Hive中进行操作一次更新多个分区内的数据? Hive 操作设置Hive动

2022-09-16

9550

flink 大数据 unix mapreduce 编程算法

我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理

2022-05-30

1.7K0

Flink on Yarn和k8s

网络安全 https zookeeper flink yarn

Session 模式和 Per Job 模式的应用场景不一样。Per Job 模式比较适合那种对启动时间不敏感，运行时间较长的任务。

2022-05-29

1.6K0

Flink如何处理update数据

kafka flink json https 大数据

只要source端产生了changelog数据，后面的算子是可以自动处理update消息的，简单理解，你可以认为:

2022-05-26

1.9K0

hive jdbc flink api 大数据

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

2022-05-19

8080

Flink checkpoint

flink 大数据存储

Checkpoint是Flink实现容错机制最核心的功能，能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot，从而将这些状态数据定期持久化存储下来，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些Snapshot进行恢复，从而修正因为故障带来的程序数据状态中断。

2022-05-19

7310

Flink 状态编程

数据结构电商 flink 大数据

在程序计算过程中，在Flink程序内部存储计算产生的中间结果，并提供给后续Function或算子计算结果使用。（如下图所示）

2022-05-17

7730

api processing flink 大数据 unix

一个watermark 代表了 watermark所包含的timestamp 数值,表示后来的数据已经再也没有小于或等于这个时间的了.

2022-05-15

3080

Flink DataStream API

flink mapreduce 大数据 python css

DataStream API主要可为分为三个部分，DataSource模块、Transformation模块以及DataSink模块。

2022-05-14

4130

ClickHouse-查询优化

Prewhere 和 where 语句的作用相同，用来过滤数据。不同之处在于 prewhere 只支持*MergeTree 族系列引擎的表，首先会读取指定的列数据，来判断数据过滤，等待数据过滤之后再读取 select 声明的列字段来补全其余属性。当查询列明显多于筛选列时使用 Prewhere 可十倍提升查询性能，Prewhere 会自动优化执行过滤阶段的数据读取方式，降低 io 操作。在某些场合下，prewhere 语句比 where 语句处理的数据量更少性能更高

2022-05-12

6660

Clickhouse副本及分片

jquery node.js xml 分布式

副本的目的主要是保障数据的高可用性，即使一台 ClickHouse 节点宕机，那么也可以从其他服务器获得相同的数据

2022-05-11

1.1K0

Clickhouse SQL语法

sql javascript 打包 rollup.js

ClickHouse 提供了 Delete 和 Update 的能力，这类操作被为 Mutation 查询，它可以看做 Alter 的一种。虽然可以实现修改和删除，但是和一般的 OLTP 数据库不样，Mutation 语句是一种很“重”的操作，而且不支持事务。 “重”的原因主要是每次修改或者删除都会导致放弃目标数据原有分区，重建新分区。所以尽量做批量的变更，不要进行频繁小数据的操作

2022-05-11

8710

Clickhouse入门及实践

表引擎决定了如何存储表的数据。表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数

2022-05-10

8230

Flink CDC 与Hudi整合

flink sql 数据库云数据库 SQL Server https

之前写过Flink CDC sink 到 Iceberg中,本篇主要实践如何CDC到hudi中.

2022-05-09

1.1K0

Flink CDC同步MySQL分库分表数据到Iceberg数据湖实践

云数据库 SQL Server 数据湖容器镜像服务容器 flink

Flink CDC: 捕获数据库完整的变更日志记录增、删、改等所有数据. Flink在1.11版本开始引入了Flink CDC功能，并且同时支持Table & SQL两种形式。Flink SQL CDC是以SQL的形式编写实时任务，并对CDC数据进行实时解析同步。相比于传统的数据同步方案，该方案在实时性、易用性等方面有了极大的改善。

2022-04-27

2.5K1

flink 文件存储存储 yarn kafka

下面主要从架构、组件原理、业务场景等角度针对相关组件的技术要点进行总结. 主要以问题驱动.

2022-04-27

9560

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态