solve

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV1

发表了文章 2022-03-302022-03-30 14:00:12

奇怪的知识

而数据中台则是将数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环节

solve 2022-03-302022-03-30 14:00:12

企业、机器学习、大数据、神经网络、深度学习

发表了文章 2021-01-262021-01-26 15:42:30

Kafka 保证分区有序

Kafka能做到全局有序吗？ Kafka只能保证分区有序，如果只有一个分区，那也是变向的全局有序 Kafka如何保证分区有序通过配置 max.in.f...

solve 2021-01-262021-01-26 15:42:30

kafka

发表了文章 2021-01-212021-01-21 06:20:25

Kafka 水位详解

kafka中用水位来描述，一个分区中的可见数据的offset。大概你需要知道这几点：

solve 2021-01-212021-01-21 06:20:25

node.js、kafka

发表了文章 2020-07-282020-07-28 15:47:37

Flink系列——感性认识

老板都是复制整个工厂的整体把控的，一般不亲自动手，只需要管好工厂的车间组长就可以了。 JobManager 则是负责整个集群的资源管理与任务管理， ...

solve 2020-07-282020-07-28 15:47:37

flink、大数据

发表了文章 2020-07-152020-07-15 16:14:50

SparkSQL技巧——如何识别SQL语句和执行一个SQL文件

SparkSQL好像没有提供相关的Api，至少我是没有找到。于是我自己写了一个.... 代码很简单，如下：

solve 2020-07-152020-07-15 16:14:50

网络安全、sql、spark、数据库

发表了文章 2020-03-242020-03-24 17:11:49

SparkStreaming On Kafka —— Offset 管理

我之前有写一篇kafka Consumer — offset的控制如果你对于这方面的知识还不太清楚，建议你去看一下，毕竟理解了Kafka的消费者， ...

solve 2020-03-242020-03-24 17:11:49

kafka

发表了文章 2020-03-202020-03-20 10:19:05

Crontab 设置的时间有时区差

问题描述 crontab中设置每天12:00启动任务，结果发现每天20:00才启动。问题分析明显是时区不一致造成的，所以需要从时区设置入手解决方案 ...

solve 2020-03-202020-03-20 10:19:05

bash、bash 指令

发表了文章 2020-03-202020-03-20 10:18:08

大数据OLAP框架对比

以上是在大数据处理方面常用的四种技术原理，上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力，但是其还是没有摆脱数据量和查询时间的线性关系。...

solve 2020-03-202020-03-20 10:18:08

sql、数据库、数据处理、hive、存储

发表了文章 2020-02-252020-02-25 17:02:51

架构杂记

根据目前的情况看起来，国内普遍对于flink比较看好，从实际情况来看，flink也是以后的发展方向，但是目前Spark的活跃程度远高于Flink，很...

solve 2020-02-252020-02-25 17:02:51

spark、sql、api、hadoop、kafka

发表了文章 2020-02-132020-02-13 00:01:16

Redis 持久化方式——RDB

Redis持久化数据的两种方式之一，另外一种是AOF。 Redis会定期保存数据快照至一个rbd文件中，并在启动时自动加载rdb文件，恢复之前保存...

solve 2020-02-132020-02-13 00:01:16

云数据库 Redis®、unix

发表了文章 2020-02-112020-02-11 16:45:28

Spark系列——从 cartesian 带你看点不一样的 Shuffle

这只是一个人随意的一些分享，你大概可以放宽心的当休闲的东西来看，看完你大概也许会对Spark会有一些不一样的想法。

solve 2020-02-112020-02-11 16:45:28

spark

发表了文章 2020-01-152020-01-15 17:05:16

Spark源码 —— 从 SparkSubmit 到 Driver启动

本文主要是以笔记的整理方式写的，仅以分享的方式供你阅读，如有不对的地方欢迎指点错误。读完本文可以学到：当你用 shell 命令执行 spark-...

solve 2020-01-152020-01-15 17:05:16

spark

发表了文章 2019-12-262019-12-26 17:33:56

Spark VS MapReduce 浅谈

计算的速度是取决于计算机本身的计算能力的。并且目前来看，所有的计算机计算都是基于内存的（如果有不是的，请原谅我的孤陋寡闻...），也就是说 MR 和 S...

solve 2019-12-262019-12-26 17:33:56

spark、缓存

发表了文章 2019-12-162019-12-16 17:33:25

kafka Consumer — offset的控制

在N久之前，曾写过kafka 生产者使用详解，今天补上关于 offset 相关的内容。那么本文主要涉及：

solve 2019-12-162019-12-16 17:33:25

kafka、javascript、node.js

发表了文章 2019-11-262019-11-26 18:21:46

Kafka —— 如何保证消息不会丢失

当我们通过 send(msg, callback) 是不是就意味着消息一定不丢失了呢？

solve 2019-11-262019-11-26 18:21:46

kafka

发表了文章 2019-11-102019-11-10 16:01:32

Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

GROUPING SETS, GROUPING__ID, CUBE, ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度...

solve 2019-11-102019-11-10 16:01:32

hive、javascript、打包、rollup.js

发表了文章 2019-11-102019-11-10 16:01:08

Hive 修复分区 MSCK REPAIR TABLE

MSCK REPAIR TABLE命令主要是用来：解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问...

solve 2019-11-102019-11-10 16:01:08

hive、大数据

关注了用户 2019-11-052019-11-05 11:57:05

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)

申请条件：至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答6K 关注者

订阅了专栏 2019-11-052019-11-05 11:57:05

腾讯云自媒体分享计划

3 文章5.9K 订阅数

发表了文章 2019-10-302019-10-30 21:23:57

Hadoop面试复习系列——HDFS（一）

转载自： https://cloud.tencent.com/developer/article/1031641 https://my.oschina.ne...

solve 2019-10-302019-10-30 21:23:57

node.js、大数据、编程算法、文件存储、存储

12 3 4 下一页

个人简介

inveno | 大数据开发工程师
inveno ｜大数据开发工程师 (已认证)
暂未填写个人简介
spark kafka 推荐系统 hadoop
湖南农大 | 动科
暂未填写个人网址
广东省 | 深圳市
加入社区时间：2019-01-15

个人成就

获得 138 次赞同
文章被阅读 90.3K 次

关注了：1关注者：24

solve

奇怪的知识

Kafka 保证分区有序

Kafka 水位详解

Flink系列——感性认识

SparkSQL技巧——如何识别SQL语句和执行一个SQL文件

SparkStreaming On Kafka —— Offset 管理

Crontab 设置的时间有时区差

大数据OLAP框架对比

架构杂记

Redis 持久化方式——RDB

Spark系列——从 cartesian 带你看点不一样的 Shuffle

Spark源码 —— 从 SparkSubmit 到 Driver启动

Spark VS MapReduce 浅谈

kafka Consumer — offset的控制

Kafka —— 如何保证消息不会丢失

Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

Hive 修复分区 MSCK REPAIR TABLE

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)

腾讯云自媒体分享计划

Hadoop面试复习系列——HDFS（一）

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

solve

奇怪的知识

Kafka 保证分区有序

Kafka 水位详解

Flink系列——感性认识

SparkSQL技巧——如何识别SQL语句 和 执行一个SQL文件

SparkStreaming On Kafka —— Offset 管理

Crontab 设置的时间有时区差

大数据OLAP框架对比

架构杂记

Redis 持久化方式——RDB

Spark系列——从 cartesian 带你看点不一样的 Shuffle

Spark源码 —— 从 SparkSubmit 到 Driver启动

Spark VS MapReduce 浅谈

kafka Consumer — offset的控制

Kafka —— 如何保证消息不会丢失

Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

Hive 修复分区 MSCK REPAIR TABLE

腾讯云自媒体分享计划腾讯 ｜ 产品运营 (已认证)

腾讯云自媒体分享计划

Hadoop面试复习系列——HDFS（一）

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

SparkSQL技巧——如何识别SQL语句和执行一个SQL文件

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)