Jason Guo

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV1

全部文章

超大规模 Spark 集群灰度发布 CI CD
目前主流的代码管理工具有，Github、Gitlab等。本文所介绍的内容中，所有代码均托管于私有的 Gitlab 中。
Jason Guo 2019-04-082019-04-08 08:27:03
编程算法、spark、jenkins、git、单元测试
Adaptive Execution 让 Spark SQL 更高效更智能
前面《Spark SQL / Catalyst 内部原理与 RBO》与《Spark SQL 性能优化再进一步 CBO 基于代价的优化》介绍的优化，从查询本身与...
Jason Guo 2018-11-202018-11-20 17:45:46
其他
Spark SQL / Catalyst 内部原理与 RBO
从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DAG 对 RDD 的操作
 Jason Guo 2018-10-102018-10-10 11:37:31
其他
Spark CommitCoordinator 保证数据一致性
本文通过 Local mode 执行如下 Spark 程序详解 commit 原理
 Jason Guo 2018-10-102018-10-10 11:16:00
spark、nat、http、hadoop、json
Spark SQL 性能优化再进一步 CBO 基于代价的优化
上文Spark SQL 内部原理中介绍的 Optimizer 属于 RBO，实现简单有效。它属于 LogicalPlan 的优化，所有优化均基于 Logical...
Jason Guo 2018-10-102018-10-10 10:03:48
其他
Spark SQL 性能优化再进一步 CBO 基于代价的优化
上文Spark SQL 内部原理中介绍的 Optimizer 属于 RBO，实现简单有效。它属于 LogicalPlan 的优化，所有优化均基于 Logical...
Jason Guo 2018-10-092018-10-09 07:35:01
其他
Spark SQL / Catalyst 内部原理与 RBO
从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DAG 对 RDD 的操作
 Jason Guo 2018-09-112018-09-11 07:49:36
其他
Kafka设计解析（七）- Kafka Stream
Kafka Stream背景 Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提...
Jason Guo 2018-06-202018-06-20 16:35:17
apache、存储
机器学习（三）关联规则R语言实战 Apriori
关联规则背景关联规则来源上个世纪，美国连锁超市活尔玛通过大量的数据分析发现了一个非常有趣的现象：尿布与啤酒这两种看起来风马牛不相及的商品销售数据曲线非常相似...
Jason Guo 2018-06-202018-06-20 16:34:41
机器学习、r 语言、数据分析、编程算法、无监督学习
Java进阶（七）正确理解Thread Local的原理与适用场景
ThreadLocal解决什么问题由于 ThreadLocal 支持范型，如 ThreadLocal< StringBuilder >，为表述方便，后文用变...
Jason Guo 2018-06-202018-06-20 16:06:42
其他
Kafka设计解析（六）- Kafka高性能架构之道
摘要上一篇文章《Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告》从测试角度说明了Kafka的性能。本文从宏观架构层面和具体实现层面...
Jason Guo 2018-06-202018-06-20 16:05:15
其他
Kafka设计解析（八）- Exactly Once语义与事务机制原理
写在前面的话本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。为什么要提供事务机制 Kafka事务机制的实现主要是为了支持 Exa...
Jason Guo 2018-06-202018-06-20 16:04:48
其他
机器学习（二）如何做到Kaggle排名前2%
摘要本文详述了如何通过数据预览，探索式数据分析，缺失数据填补，删除关联特征以及派生新特征等方法，在Kaggle的Titanic幸存预测这一分类问题竞赛中获得前...
Jason Guo 2018-06-202018-06-20 16:03:48
其他
Java进阶（二）当我们说线程安全时，到底在说什么
多线程编程中的三个核心概念原子性这一点，跟数据库事务的原子性概念差不多，即一个操作（有可能包含有多个子操作）要么全部执行（生效），要么全部都不执行（都不生效...
Jason Guo 2018-06-192018-06-19 17:43:11
java、安全、数据库
Java进阶（四）线程间通信剖析
CountDownLatch CountDownLatch适用场景 Java多线程编程中经常会碰到这样一种场景——某个线程需要等待一个或多个线程操作结束（或达到...
Jason Guo 2018-06-192018-06-19 17:41:47
其他
Java进阶（五）Java I/O模型从BIO到NIO和Reactor模式
Java I/O模型同步 vs. 异步同步I/O　每个请求必须逐个地被处理，一个请求的处理会导致整个流程的暂时等待，这些事件无法并发地执行。用户线程发起I/...
Jason Guo 2018-06-192018-06-19 17:40:44
java、react、unix
Java进阶（三）多线程开发关键技术
sleep和wait到底什么区别其实这个问题应该这么问——sleep和wait有什么相同点。因为这两个方法除了都能让当前线程暂停执行完，几乎没有其它相同点。 ...
Jason Guo 2018-06-192018-06-19 17:40:14
java
Java进阶（六）从ConcurrentHashMap的演进看Java多线程核心技术
原创文章，转载请务必将下面这段话置于文章开头处（保留超链接）。本文转发自技术世界，原文链接 http://www.jasongj.com/java/concu...
Jason Guo 2018-06-142018-06-14 14:54:41
java、hashmap、安全、人工智能
Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势
原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界，原文链接 http://www.jasongj.com/spark/skew/ 摘要 ...
Jason Guo 2018-06-112018-06-11 13:12:22
其他
SQL优化（五） PostgreSQL （递归）CTE 通用表表达式
原创文章，转载请务必将下面这段话置于文章开头处（保留超链接）。本文转发自技术世界，原文链接 http://www.jasongj.com/sql/cte/ ...
Jason Guo 2018-06-112018-06-11 13:05:32
sql、postgresql、express

12 下一页

个人简介

大数据
暂未填写个人简介
java sql http 机器学习 linux
暂未填写学校和专业
http://www.jasongj.com/
上海
加入社区时间：2018-04-27

个人成就

获得 165 次赞同
文章被阅读 55.2K 次

关注了：1关注者：37

Jason Guo

全部文章

超大规模 Spark 集群灰度发布 CI CD

Adaptive Execution 让 Spark SQL 更高效更智能

Spark SQL / Catalyst 内部原理与 RBO

Spark CommitCoordinator 保证数据一致性

Spark SQL 性能优化再进一步 CBO 基于代价的优化

Spark SQL 性能优化再进一步 CBO 基于代价的优化

Spark SQL / Catalyst 内部原理与 RBO

Kafka设计解析（七）- Kafka Stream

机器学习（三）关联规则R语言实战 Apriori

Java进阶（七）正确理解Thread Local的原理与适用场景

Kafka设计解析（六）- Kafka高性能架构之道

Kafka设计解析（八）- Exactly Once语义与事务机制原理

机器学习（二）如何做到Kaggle排名前2%

Java进阶（二）当我们说线程安全时，到底在说什么

Java进阶（四）线程间通信剖析

Java进阶（五）Java I/O模型从BIO到NIO和Reactor模式

Java进阶（三）多线程开发关键技术

Java进阶（六）从ConcurrentHashMap的演进看Java多线程核心技术

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

SQL优化（五） PostgreSQL （递归）CTE 通用表表达式

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

Jason Guo

超大规模 Spark 集群灰度发布 CI CD

Adaptive Execution 让 Spark SQL 更高效更智能

Spark SQL / Catalyst 内部原理 与 RBO

Spark CommitCoordinator 保证数据一致性

Spark SQL 性能优化再进一步 CBO 基于代价的优化

Spark SQL 性能优化再进一步 CBO 基于代价的优化

Spark SQL / Catalyst 内部原理 与 RBO

Kafka设计解析（七）- Kafka Stream

机器学习（三） 关联规则R语言实战 Apriori

Java进阶（七）正确理解Thread Local的原理与适用场景

Kafka设计解析（六）- Kafka高性能架构之道

Kafka设计解析（八）- Exactly Once语义与事务机制原理

机器学习（二） 如何做到Kaggle排名前2%

Java进阶（二）当我们说线程安全时，到底在说什么

Java进阶（四）线程间通信剖析

Java进阶（五）Java I/O模型从BIO到NIO和Reactor模式

Java进阶（三）多线程开发关键技术

Java进阶（六）从ConcurrentHashMap的演进看Java多线程核心技术

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

SQL优化（五） PostgreSQL （递归）CTE 通用表表达式

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

Spark SQL / Catalyst 内部原理与 RBO

Spark SQL / Catalyst 内部原理与 RBO

机器学习（三）关联规则R语言实战 Apriori

机器学习（二）如何做到Kaggle排名前2%