同名公众号：大数据学习指南-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

同名公众号：大数据学习指南

作者: 程序员小陶

专栏成员

18

文章

20517

阅读量

15

订阅数

海豚调度 DolphinScheduler(2.x和3.x版本) 本地环境搭建，方便本地调式代码。

大数据任务调度 mysql zookeeper

💡 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。

大数据学习指南

2023-06-30

1.2K0

调研了几个商业应用，我总结了用户画像的关键场景，核心功能

大数据 https 网络安全 html

各种各样的数据，如果只是躺在数仓里面，并不会发挥更大的业务价值，只有数据产品化之后才能便于业务方使用，这也是数据平台的价值，需要每一位数据平台的小伙伴为之努力。

大数据学习指南

2023-01-14

4410

Hadoop支持的压缩格式，是否支持split，什么场景下使用，建议收藏

文件存储 javascript hadoop mapreduce 大数据

Hive 建设离线数据仓库通常符合：一次写入，多次读取。所以需要我们在建表的时候选择恰当的存储格式和数据的压缩模式。

大数据学习指南

2023-01-11

1.2K0

Hive 核心服务HiveServer2(HS2)的前世今生，最后提供代码实例

hive rpc java python sql

之前分享了 Hive 元数据的表，一文搞懂 Hive 元数据的表，数仓开发需要熟悉的，建议收藏

大数据学习指南

2022-11-08

1.6K0

一文搞懂 Hive 元数据的表，数仓开发需要熟悉的，建议收藏

hive 存储文件存储数据库 sql

Hive 元数据是 Hive 管理数据的根本所在，其他系统接入 Hive 也是通过元数据服务的。本篇文章主要介绍 Hive 元数据表的基本信息，元数据服务放在下篇文章讲。这里我所说的元数据特指 Hive 元数据库的表。

大数据学习指南

2022-11-08

2.8K0

适合小白的Linux学习笔记，全面丰富，154页高清PDF版速领

今天给大家分享一份超详细的 Linux 学习笔记，内容全面详实，干货满满，几乎涵盖了 Linux学习的方方面面。无论是新手学习，还是老用户日常查阅，都非常合适。

大数据学习指南

2022-11-08

8300

Flink CDC 2.2.1 + Flink 1.13 开发一个简单的CDC项目

flink 大数据 api 数据分析数据库

本文将演示如何使用 Flink DataStream API 开发一个 Flink CDC 应用。

大数据学习指南

2022-05-26

5.7K0

大数据技术周报第 010 期

网络安全 https github sql git

The Apache Software Foundation recently released its annual report and Apache Flink once again made it on the list of the top 5 most active projects! This remarkable activity also shows in the new 1.14.0 release. Once again, more than 200 contributors worked on over 1,000 issues. We are proud of how this community is consistently moving the project forward.

大数据学习指南

2022-05-26

2490

大数据技术周报第 009 期

网络安全 https jquery apache flink

I'm pleased to announce the release of Apache Kafka 3.0[2] on behalf of the Apache Kafka® community. Apache Kafka 3.0 is a major release in more ways than one. Apache Kafka 3.0 introduces a variety of new features, breaking API changes, and improvements to KRaft—Apache Kafka’s built-in consensus mechanism that will replace Apache ZooKeeper™.

大数据学习指南

2022-05-26

3360

大数据技术周报第 007 期

flink 实时数仓 sql 消息队列 CMQ 版 kafka

随着需求越累越多，离线的数仓已经不能完全满足需求了，实时数仓可以满足实时化&自动化的决策需求。数据湖支持大量&复杂数据类型（文本、图像、视频、音频）

大数据学习指南

2022-05-26

4290

大数据技术周报第 006 期

flink kafka linux 云数据库 Redis

栗子：hdfs getconf -confKey fs.defaultFS 查看 hdfs 的 uri 地址。

大数据学习指南

2022-05-26

2580

大数据技术周报第 003 期

kafka 云数据库 Redis spark lua node.js

一是客户端、服务端需要的内存会变多（需要维护一些分区的信息，如果分区越多，这些信息所占的内存就越大）

大数据学习指南

2022-05-26

2200

大数据技术周报第 002 期

zookeeper hadoop yarn node.js

最近试了下在百度和 Google 搜索自己的id，结果真的差距不小。百度给 CSDN 的权重太高了。。（让人喷饭！）

大数据学习指南

2022-05-26

4090

大数据技术周报第 001 期

kubernetes 容器 hive yarn 运维

1、TDengineTDengine是一个开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的工作量。

大数据学习指南

2022-05-26

5880

大数据开发工程师到底是干嘛的？

编程算法数据分析存储大数据 sql

目前在学习大数据专业，想提前了解一下大数据开发工程师的工作职责是怎么的？需要提前准备些什么？大数据分了哪些岗位？

大数据学习指南

2022-05-26

6160

那些年我们踩过的一些坑之 ClickHouse

jquery sql 数据库云数据库 SQL Server

摘要：ClickHouse 挺好用的，但是这些坑防不胜防，用过的才懂。本篇文章将持续更新...

大数据学习指南

2022-05-26

1.4K0

选择适合你的开源 OLAP 引擎

网络安全 https spark hive 开源

摘要：本文主要介绍了主流开源的OLAP引擎：Hive、Sparksql、Presto、Kylin、Impala、Druid、Clickhouse 等，逐一介绍了每一款开源 OLAP 引擎，包含架构、优缺点、使用场景等，希望可以给大家有所启发。

大数据学习指南

2022-05-26

1.5K0

Spark 性能优化指南(官网文档)

文件存储 java spark 缓存 linux

由于大多数Spark组件基于内存的特性，Spark程序可能会因为集群中的任何资源而导致出现瓶颈：CPU、网络带宽或内存。通常情况下，如果数据适合于放到内存中，那么瓶颈就是网络带宽，但有时，我们还是需要内存进行一些调优的，比如以序列化的形式保存RDDs，以便减少内存占用。

大数据学习指南

2022-05-26

7710

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态