涂小刚的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

涂小刚的专栏

专栏成员

7

文章

34455

阅读量

30

订阅数

Spark-ALS 分布式实现详解

spark 大数据

本文阐述了基于Spark MLlib的ALS算法实现，通过分布式计算降低用户冷启动问题，并利用Spark的实时计算能力构建用户画像，同时针对爱奇艺实际应用场景给出了具体的实现细节和优化策略。

2017-07-20

4.2K3

Spark SQL 之 Join 实现

spark 数据库云数据库 SQL Server 大数据人工智能

本文介绍了Spark SQL的Join实现原理、不同Join方式的实现流程、优化策略以及社区现状，为Spark SQL的Join实现提供了全面且深入的解析，有助于开发者深入了解Spark SQL的Join实现细节，从而更好地利用Spark SQL进行数据处理和分析。

2017-07-19

9.5K5

从 PageRank Example 谈 Spark 应用程序调优

spark 大数据

本文阐述了大数据处理框架Spark在大数据处理过程中的优势，包括处理速度快、易扩展、高可用以及支持多种编程语言等特点。同时，文章还介绍了Spark在大数据处理中的数据倾斜问题、高阶函数、广播变量、算子驱动等优化点。最后，本文总结了Spark在大数据处理中的资源调度、数据倾斜、广播变量等方面的技术实践。

2017-07-18

3.3K7

PySpark 的背后原理

spark 大数据 java

本文介绍了 PySpark 的背后原理，包括其运行时架构、Driver 端和 Executor 端的运行原理，并分析了在大数据场景下使用 PySpark 的利弊。

2017-07-06

7.4K6

Spark Cache 性能测试

spark 大数据

本文介绍了Spark中Cache的概念以及不同Cache方式对Spark任务的影响。文章首先介绍了Spark中Cache的作用，然后通过测试数据说明了不同Cache方式对Spark性能的影响，并给出了相应的优化建议。

2017-04-26

2.8K0

Spark Scheduler 内部原理剖析

大数据 spark

2017-04-26

3.9K2

【Spark教程】核心概念RDD

spark 大数据

本文介绍了如何使用Spark对大数据进行流式处理和分析，通过介绍Spark的架构、编程模型、核心概念、数据分区和转换操作等方面，让读者快速掌握Spark的核心功能和应用场景。同时，还通过一个简单的WordCount示例，展示了如何使用Spark进行快速的数据分析。

2017-04-11

3.4K1

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态