陈猿解码-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

陈猿解码

总结积累与沉淀

专栏成员

101

文章

104527

阅读量

26

订阅数

InetAddress.getByName背后发生了什么

配置系统域名域名解析主机

在一次问题排查过程中，发现偶现调用"InetAddress.getByName()"无法通过域名解析到IP（实际在容器中都能正确解析到），因此怀疑和容器的DNS解析有问题。但在与容器的开发兄弟沟通过程中，被反问了一句，确定该方法一定触发调用了DNS的域名解析吗？

2023-10-06

4580

Iceberg的V2格式

继承基础集合数据数据类型

Iceberg在V1的格式中定义了，如何使用不可变类型的文件（Parquet、ORC、AVRO）来管理大型分析型的表，包括元数据文件、属性、数据类型、表的模式，分区信息，以及如何写入与读取。

2023-09-18

8170

kafka的controlled shutdown请求

kafka shutdown 服务连接异常

kafka基于k8s容器化部署后，对容器设置了存活探针，即检测监听端口是否存在。然而一次kill kafka进程的操作，服务的重启时间（supervisor会自动再拉起kafka进程）超过了存活探针的监测时间，导致pod重启。本文就该问题展开进行分析。

2023-09-18

4190

浅谈iceberg的存储文件

存储 manifest partition schema snapshot

上一篇文章介绍了如何通过java api对iceberg进行操作。这次我们来聊聊iceberg里的存储文件。

2023-03-21

2.1K0

iceberg的java api使用

java api hive flink schema

了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过java api对iceberg进行操作。

2023-03-21

2.8K4

kafka事务剖析

kafka epoch state 服务端事务

在kafka的0.11版本中，引入了kafka事务的特性，确保在一个事务中发送的多条消息，要么都成功，要么都失败。这里说的多条消息可以是发送给不同topic的多个消息。

2023-03-21

4230

avro格式详解

json 存储数据结构编程算法

Apache Avro是hadoop中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。

2023-02-28

3.2K0

kafka的消费者组（下）

上一文对消费者组的一些概念，基本原理进行了简单描述，本文继续来聊聊消费者组中另外一个比较重要的内容：偏移量的存储。

2023-02-28

7990

kafka的消费者组（上）

最近在排查一个sparkstreaming在操作kafka时，rebalance触发了一个异常引起任务失败，而组内小伙伴对消费者组的一些基本知识不是很了解，所以抽了些时间进行相关原理的整理。本文就来聊聊相关内容。

2023-02-28

9390

kafka的消息持久化文件

存储 kafka unix

我们都知道，topic是有分区（partition）的概念的，生产者往同一个topic发送的消息最终是发送到了不同的分区里面。也就是说，一个topic里的消息是由该topic下所有分区里的消息组成的。在同一个分区里，消息是有序的，而不同分区中，消息是不能保证有序的。

2023-02-28

3760

issue:yarn-11396

访问管理 flink 大数据

在容量调度方式中，队列的capacity参数是作用于单个用户可以使用的资源上限，这个在文章《YARN——正确理解容量调度的capacity参数》一文中详细讲解过。

2023-02-28

2920

kafka之ranger插件的一个坑

kafka hadoop kerberos

之前文章写过kafka的鉴权，以及集成ranger插件的配置使用。但真正在用起来后，发现里面有个坑，本文就来聊聊这个坑的情况以及排查过程。

2023-02-28

8730

kafka中 DescribeLogDirs请求参数引起的一个问题

uml kafka 腾讯云测试服务

"麻烦先找下我们的小马甲——公共服务"，这句话还没发出去，对方已经先把环境信息给发了过来。

2023-02-28

5500

一次flink任务重试失败的问题分析

java 缓存 flink 大数据

在研究flink任务失败重试的过程中，遇到了一个问题，具体表现为：在任务重试时，出现与NN连接失败，触发新的一次重试，然后重复此流程，直到达到重试上限后，任务失败退出。

2023-02-28

1.8K0

yarn container的进程以及kill动作的逻辑

yarn node.js bash bash 指令 linux

在一次问题排查过程中，误杀了yarn任务container的其中一个进程，导致yarn application kill不再生效，并且在rm中任务状态显示为失败，但实际进程还在运行。在分析问题的同时，抽时间对yarn任务的进程、以及kill命令的执行流程进行了整理。本文就来聊聊这些内容。

2023-02-28

9030

hdfs回收站的配置使用与注意事项

api 大数据 unix

在hdfs使用过程中，通过"rm"命令可以进行文件的删除，然后有时候，难免会出现误删了某个文件。那么hdfs是否存在回收站的功能，文件删除而不是真的删除，而是先进入垃圾回收站，这样可以对误删的文件有机会进行还原。本文就来聊聊hdfs中的回收站功能原理

2023-02-28

9600

yarn中的事件分发与状态机框架

yarn node.js android 编程算法

在早之前的文章《YARN——任务提交启动流程》中提到了，其处理逻辑是围绕applicaiton、container、attempt实例对象的创建，各自状态机的变化来实现的。

2023-02-28

7740

hdfs的一个运维小技巧

大数据存储运维

对于hdfs而言，磁盘故障的处理或者节点的扩容是比较常见的运维操作。对于这种场景的运维操作是相对比较简单的，但关键在于如何快速的使数据在各个dn之间平衡，或者快速的使block数据达到指定的副本数，本文就来聊聊这个小技巧。

2023-02-28

5890

2.X版本又一个极端情况下的偶现严重问题

kerberos hadoop

前段时间，在异常测试的环境里，发现yarn任务无法提交，经过逐步排查，最后发现在一个极端的场景下，存在JN不会重新向kerberos进行认证，导致整体均无法提供服务的情况。本文就来详细聊聊问题出现时的情况以及分析复现过程。

2023-02-28

6140

zk session expire会引起HA模式的rm一直处于standby吗

最近连续在多个环境中遇到了同一个问题：在HA模式下，两个resourcemanager均为standby，并且持续没有选举出新的leader。经过一番分析，并对照源码梳理问题出现前后的逻辑流程，最后发现是因为zk会话过期（session expire）引起的问题，本文就复盘总结下。

2023-02-28

5810

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态