一条老狗

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV0

发表了文章 2021-01-182021-01-18 15:03:43

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

桔妹导读： LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平...

一条老狗 2021-01-182021-01-18 15:03:43

运维、kafka、开源

发表了文章 2021-01-182021-01-18 10:23:22

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于K...

一条老狗 2021-01-182021-01-18 10:23:22

kafka、大数据

发表了文章 2020-10-292020-10-29 12:52:42

一次CPU sys上涨引发对kafka PageCache的思考

线上某个kafka集群由于种种原因，从 24 * 机型 A 置换迁移为 12 * 机型 B。从集群总资源维度看，排除其他客观因素，置换后，CPU总核数少了一半，...

一条老狗 2020-10-292020-10-29 12:52:42

kafka、缓存、linux

报名了沙龙 2020-09-082020-09-08 10:16:25

技术创作101训练营--腾讯「技术创作101训练营」第1季 —— 技术写作

2020-09-19深圳市回顾中

订阅了专栏 2020-09-082020-09-08 10:16:25

腾讯云技术沙龙

145 文章6.9K 订阅数

关注了用户 2020-09-082020-09-08 10:16:25

腾讯云开发者社区技术沙龙

腾讯云开发者社区技术沙龙官方号

149 文章0 回答6.9K 关注者

发表了文章 2020-06-162020-06-16 15:48:27

kafka消费组及重平衡的影响

消费组应该算是kafka中一个比较有特色的设计模式了，而他的重平衡机制也是我们在实际生产使用中，无法避免的一个问题。

一条老狗 2020-06-162020-06-16 15:48:27

kafka

发表了文章 2020-05-092020-05-09 14:55:39

kafka生产者的幂等和事务处理

之前和大家聊过kafka是如何保证消息不丢失的，今天再讲讲在不丢消息的同时，如何实现精确一次处理的语义实现。

一条老狗 2020-05-092020-05-09 14:55:39

kafka、云数据库 Redis®、分布式

回答了问题 2020-04-152020-04-15 17:08:53

Dr.Elephant支持hadoop3吗？还有编译一直有包找不到怎么解决？

2回答

jar、大数据处理套件 TBDS、spark、hadoop、大数据

一条老狗回答于 2020-04-152020-04-15 17:08:53

目前官方开源的Dr.Elephant还不支持Hadoop3。

不过你编译老版本的包，一样可以采集分析Hadoop3的MapReduce和Spark作业，通过配置history server 的REST API地址即可。Tez jobs可能会有些问题。

赞8 收藏1 评论5

目前官方开源的Dr.Elephant还不支持Hadoop3。不过你编译老版本的包，一样可以采集分析Hadoop3的MapReduce和Spark作业，通过配置history server 的REST...

发表了文章 2020-02-242020-02-24 12:25:10

kafka是如何保证消息不丢失的

今天和大家聊一下，kafka对于消息的可靠性保证。作为消息引擎组件，保证消息不丢失，是非常重要的。

一条老狗 2020-02-242020-02-24 12:25:10

kafka、编程算法

发表了文章 2020-02-132020-02-13 11:55:06

kafka的发行版选择

今天继续和大家聊一下，kafka的各种发行版。kafka历经数年的发展，从最初纯粹的消息引擎，到近几年开始在流处理平台生态圈发力，衍生出了各种不同特性的版本。

一条老狗 2020-02-132020-02-13 11:55:06

apache、kafka、专用宿主机、大数据、linux

发表了文章 2020-01-142020-01-14 16:05:01

kafka分区数过多引发的弊端

上篇文章我们了解到，如果一个topic分区越多，理论上整个集群所能达到的吞吐量就越大。那么，分区数越多就越好吗？显然不是。今天我们来聊下kafka在分区数过多的...

一条老狗 2020-01-142020-01-14 16:05:01

kafka、缓存

发表了文章 2019-12-272019-12-27 16:30:20

kafka分区数和吞吐量的关系

要讲 kafka 分区数和吞吐量的关系，首先得理解什么是分区(partition)。

一条老狗 2019-12-272019-12-27 17:08:00

kafka

发表了文章 2019-12-262019-12-26 14:20:35

【Dr.Elephant中文文档-8】调优建议

你可以使用Dr. Elephant来分析你的作业（只需在搜索页贴入你的作业ID），就可以知道你的作业有哪些地方需要优化。

一条老狗 2019-12-272019-12-27 17:10:11

mapreduce、大数据

发表了文章 2019-12-262019-12-26 14:20:06

【Dr.Elephant中文文档-7】自动调优

Dr.Elephant这个项目希望构建一个可以自动优化hadoop mapreduce相关函数的调优框架。在这种情况下，是为了函数消耗最少的资源来完成作业。我们...

一条老狗 2019-12-272019-12-27 17:09:56

api、hive、大数据

发表了文章 2019-12-262019-12-26 14:19:42

【Dr.Elephant中文文档-6】度量指标和启发式算法

我们将作业的资源使用量定义为任务容器大小和任务运行时间的乘积。因此，作业的资源使用量可以定义为mapper和reducer任务的资源使用量总和。

一条老狗 2019-12-272019-12-27 17:09:45

mapreduce、spark、大数据

发表了文章 2019-12-262019-12-26 14:15:02

【Dr.Elephant中文文档-5】用户指南

这个页面包含了集群最近的统计信息。列出了最近 24 小时分析过的作业数量，可进行优化的作业数量和待优化的作业数量。

一条老狗 2019-12-272019-12-27 17:09:27

大数据、hadoop

发表了文章 2019-12-262019-12-26 14:14:07

【Dr.Elephant中文文档-4】开发者指南

为了在本地部署Dr.Elephant测试，你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0)...

一条老狗 2019-12-272019-12-27 17:09:09

hadoop、xml、https、大数据

发表了文章 2019-12-262019-12-26 14:13:47

【Dr.Elephant中文文档-3】快速安装说明

Step 1：在 GitHub 上注册一个账号，并 fork 一份Dr. Elephant项目代码。

一条老狗 2019-12-272019-12-27 17:08:43

数据库、云数据库 SQL Server、sql、https、大数据

发表了文章 2019-12-262019-12-26 14:13:25

【Dr.Elephant中文文档-2】管理员指南

Dr. Elephant依赖于 YARN 的资源管理服务器和历史作业记录服务器，来获取作业详细信息和记录。YARN 作业及其分析的详细信息将存储在当前配置的后端...

一条老狗 2019-12-272019-12-27 17:08:29

yarn、xml、bash 指令、node.js、大数据

12 3 下一页

个人简介

滴滴出行 | 大数据SRE
公众号：极客运维
大数据 hadoop 运维 linux python
暂未填写学校和专业
https://www.hyperxu.com
浙江省 | 杭州市
加入社区时间：2018-05-03

个人成就

获得 106 次赞同
文章被阅读 73.1K 次

关注了：3关注者：28

一条老狗

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

一次CPU sys上涨引发对kafka PageCache的思考

技术创作101训练营--腾讯「技术创作101训练营」第1季 —— 技术写作

腾讯云技术沙龙

腾讯云开发者社区技术沙龙

kafka消费组及重平衡的影响

kafka生产者的幂等和事务处理

Dr.Elephant支持hadoop3吗？还有编译一直有包找不到怎么解决？

kafka是如何保证消息不丢失的

kafka的发行版选择

kafka分区数过多引发的弊端

kafka分区数和吞吐量的关系

【Dr.Elephant中文文档-8】调优建议

【Dr.Elephant中文文档-7】自动调优

【Dr.Elephant中文文档-6】度量指标和启发式算法

【Dr.Elephant中文文档-5】用户指南

【Dr.Elephant中文文档-4】开发者指南

【Dr.Elephant中文文档-3】快速安装说明

【Dr.Elephant中文文档-2】管理员指南

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐