2011aad

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV2

我关注的人

两个月30场面试--互联网大厂后端开发面试总结

今年业务调整，终于下定决心走出目前的环境，准备面试换工作。面试进行了2个月，一共30多场面试，最终拿到字节、小红书、蚂蚁、拼多多、SelectDB 5个offe...

2011aad 2023-07-162023-07-16 14:52:45

面试、后台开发、互联网

Spark离线导出Mysql数据优化之路

在业务离线数据分析场景下，往往需要将Mysql中的数据先导出到分布式存储中，如Hive、Iceburg。这个功能实现的方式有很多，但每种方式都会遇到一些问题（包...

2011aad 2022-05-242022-05-24 12:13:43

spark、云数据库 SQL Server、数据传输服务、sql

Flink处理腾讯云数据订阅消息实践

在业务场景中，经常会有监听数据库数据变更的诉求，如数据同步、数据推送等场景。对于Mysql，可以监听其binlog日志，并输出到消息队列完成订阅，而腾讯云上有各...

2011aad 2022-04-192022-04-19 09:02:06

数据传输服务、flink、TDSQL-C MySQL 版

Clickhouse Optimize Table全面解析

最近笔者在使用Clickhouse的过程中，用到了Optimize Table命令，而在业务开发过程中，由于不了解Optimize Table命令的明确行为，中...

2011aad 2021-10-142021-10-14 14:26:37

云数据仓库 ClickHouse、大数据

Global in在Clickhouse非分布式表查询中的使用

Clickhouse在OLAP查询场景下有显著的性能优势，但Clickhouse在大表join查询的场景下，性能表现并不是很好，因此在实际业务场景需要多表计算时...

2011aad 2021-03-142021-03-14 17:55:07

云数据仓库 ClickHouse、大数据、sql

Druid源码阅读（二）：Druid Segment存储格式

Druid流数据摄入后会以Index形式保存在内存中，同时会定期将Index序列化成Segment文件持久化到可靠存储中（如HDFS），批数据摄入会直接通过离线...

2011aad 2020-05-102020-05-10 11:43:56

大数据、数据库、时序数据库 CTSDB

【大数据】Spark优化经验&案例--数据倾斜

TOC 0. 十秒看完 1.业务处理中存在复杂的多表关联和计算逻辑（原始数据达百亿数量级） 2.优化后，spark计算性能提升了约12倍(6h-->30min)...

onephone 2020-04-272020-04-27 11:48:43

大数据、spark、hadoop、数据分析

Druid源码阅读（一）：Druid Hadoop-based ingestion实现

Apache Druid是一款开源时序OLAP数据库，支持流数据摄入和批数据摄入两种数据写入方式，其中批数据摄入又包括Native batch和Hadoop-b...

2011aad 2020-04-232020-04-23 00:09:36

时序数据库 CTSDB、mapreduce

基于Spark的ID Mapping——Spark实现离线不相交集计算

最近在开发一个ID Mapping业务系统——识别数据上报中社交账号的关联关系，找到系统中哪些社交账号属于现实世界中的同一个人。简单来讲，如果同一条上报数据中出...

2011aad 2020-04-082020-04-08 17:22:41

spark

个人简介

腾讯 | 后台开发
腾讯｜后台开发 (已认证)
腾讯企点后台开发
暂未填写技能专长
上海交通大学
暂未填写个人网址
上海
加入社区时间：2018-04-26

个人成就

获得 145 次赞同
文章被阅读 52.3K 次
文章获得 8 次首页推荐

关注了：3关注者：65