九州暮云 - 个人中心 - 腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

九州暮云

LV1

全部文章

电商数据应用体系建设总结（三）—— 离线数据兜底方案
目前我们使用 Lambda 架构来处理数据，Flink 处理实时数据，Spark 处理离线数据。Spark 离线任务在每天凌晨的 0-8 点调度执行，在这段时间...
九州暮云 2022-07-212022-07-21 15:40:31
数据处理、hive、spark、serverless
电商数据应用体系建设总结（二）—— 数据应用层架构介绍和规范总结
数据经过ETL、存储等数据处理过程之后，通过数据应用产品的形式呈现给最终使用方，PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营...
九州暮云 2022-05-092022-05-09 18:07:52
spring、spring cloud、负载均衡、负载均衡缓存
电商数据应用体系建设总结（一）—— 数据应用架构剖析
数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助...
九州暮云 2022-05-092022-05-09 12:03:39
大数据、数据分析、数据处理、kafka、消息队列 CMQ 版
滴滴 x StarRocks：极速多维分析创造更大的业务价值
滴滴集团作为生活服务领域的头部企业，正在全面测试和上线StarRocks，其中橙心优选经过一年多的数据体系建设，我们逐渐将一部分需要实时交互查询、即席查询的多维...
九州暮云 2021-09-292021-09-29 15:20:34
日志数据、大数据、hive、kafka、数据分析
HDFS 客户端读写超时时间解析
前段我们Hadoop集群磁盘使用率比较高，部分硬盘空间使用超过了70%，这部分服务器的DataNode服务读写负载就比较高，造成部分数据同步任务因为读写超时而失...
九州暮云 2020-10-292020-10-29 12:42:06
网络安全、大数据、node.js、hadoop
Redis AOF重写阻塞问题分析
某个业务线使用Redis集群保存用户session数据，数据量大约在4千万-5千万，每天发生3-4次AOF重写，每次时间持续30-40秒，AOF重写期间出现Re...
九州暮云 2020-05-262020-05-26 15:10:16
云数据库 Redis®、node.js、jquery、缓存
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（三）
这个问题又让我们碰到了，发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗...
九州暮云 2020-05-182020-05-18 16:35:21
yarn、node.js、hadoop、zookeeper、hashmap
大压缩文件对Impala查询性能的影响
Hadoop/HDFS/MapReduce/Impala被设计用于存储和处理大量文件的场景，比如TB或者PB级别数据量的文件。大量小文件对查询性能有很大的影响，...
九州暮云 2020-04-242020-04-24 17:35:27
文件存储、hadoop、大数据、专用宿主机
YARN Fair Scheduler批量分配功能调优总结
YARN调度效率不高，队列资源充足，集群中正在运行的任务数量少，资源利用率低的情况下有一部分任务排队，等待分配资源时间长。
九州暮云 2020-02-182020-02-18 13:31:36
yarn、actionscript、hadoop、node.js
一步一步理解Impala query profile（四）
在本系列的第三部分，我使用了一个示例来详细地介绍Impala query profile。在这一部分中，我将使用一个真实生产系统的Impala Profile文...
九州暮云 2020-02-182020-02-18 13:31:23
大数据、grep
利用反射实现状态同步
Java反射使我们能在程序运行时动态调用某个对象的方法/构造函数、获取某个对象的属性，经常用于实现动态代理、工厂模式、Java JDBC加载连接驱动类等，近期阅...
九州暮云 2019-12-202019-12-20 11:39:53
大数据、java、jvm、unix
一步一步理解 Impala query profile（三）
在本博客系列的第3部分，我将仍然关注查询计划（Query Plan）和执行摘要（Execution Summary），但是将使用真实数据（Kaggle’s Fl...
九州暮云 2019-12-162019-12-16 16:57:39
csv、delay、impala、profile、timeline
一步一步理解Impala query profile（二）
在上一篇文章中，我们介绍了Impala query profie的概要部分，在本篇文章我们介绍Profile的查询计划（Query Plan）和执行概要（Exe...
九州暮云 2019-12-162019-12-16 16:48:52
大数据
一步一步理解Impala query profile（一）
很多Impala用户不知道如何阅读Impala query profile来了解一个查询背后正在执行的操作，从而在此基础上对查询进行调优以充分发挥查询的性能。因...
九州暮云 2019-12-162019-12-16 16:48:27
shell、sql、网站
（译）优化ORC和Parquet文件，提升大SQL读取性能
本文编译自IBM开发者社区，主要介绍了HDFS中小的ORC和Parquet文件的问题，以及这些小文件如何影响Big SQL的读取性能，并探索了为了提高读取性能，...
九州暮云 2019-10-082019-10-08 18:24:09
sql、大数据、hive、hadoop、存储
YARN任务监控界面Aggregate Resource Allocation指标解析
在YARN的原生任务监控界面中，我们经常能看到Aggregate Resource Allocation这个指标（图中高亮选中部分），这个指标表示该任务拥有的所...
九州暮云 2019-09-022019-09-02 16:14:52
yarn、node.js
Scala 枚举的使用和探索（译）
枚举（Enumerations）是一种语言特性，对于建模有限的实体集来说特别有用。一个经典的例子是将工作日建模为一个枚举：每个七天都有一个值。Scala和许多其...
九州暮云 2019-08-212019-08-21 14:37:33
scala、文件存储、ide、打包
Error: Your Command Line Tools are too outdated
解决方式：使用App Store账号登录开发者中心：https://developer.apple.com/xcode/，然后转到https://develop...
九州暮云 2019-08-212019-08-21 14:35:49
https、mac os、网络安全、xcode
redis原子性读写操作之LUA脚本和watch机制
最近在开发电商平台的子系统——储值卡系统，系统核心业务涉及到金额消费以及库存控制，由于redis事务并不能保证操作的原子性，因此为了解决建立在内存上高并发情况下...
九州暮云 2019-08-212019-08-21 14:35:19
linux、云数据库 Redis®、lua、其他
链表
链表（Linked list）是一种常见的基础数据结构，是一种线性表，但是并不会按线性的顺序存储数据，而是在每一个节点里存到下一个节点的指针(Pointer)。...
九州暮云 2019-08-212019-08-21 14:34:58
编程算法、数据结构

12 3 4 5 6 7 8 下一页

个人简介

滴滴 | 资深数据开发工程师
欢迎关注：大鹏的架构之路。每天进步一点点，专注Java与大数据技术分享。
大数据
暂未填写学校和专业
暂未填写个人网址
北京
加入社区时间：2019-08-20

个人成就

获得 451 次赞同
文章被阅读 395.9K 次

关注了：1关注者：48