前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Spark RDD

Spark RDD

作者头像
week
发布于 2018-12-07 03:26:23
发布于 2018-12-07 03:26:23
5030
举报
文章被收录于专栏:用户画像用户画像

弹性分布式数据集(RDD)不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集,可以让你执行高速运算,而且是Apark Spark的核心。

顾名思义,该数据集是分布式的。基于某个关键字,该数据集被划分成多块,同时分发到执行结点。这样做可以使得此类数据集能够执行高速执行运算。另外,RDD将跟踪(记入日志)应用于每个块的所有转换,以加快计算速度,并在发生错误和部分数据丢失时提供回退。在这种情况下,RDD可以重新计算数据。该数据日志是另外一种抵御数据丢失的防线并且有助于数据复制。

RDD并行操作

Spark工作原理的最大优势是:每个转化并行执行,从而大大提高速度。

数据集转化通常是惰性的,这就意味着任何转换仅在调用数据集上的操作才执行,这有助于Spark优化执行。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年11月06日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Spark技术中最常见的面试问题-2023面试题库
Apache Spark是一种基于Hadoop和MapReduce技术的开源,支持各种计算技术,以实现快速高效的处理。Spark 以其内存中集群计算而闻名,这是提高 Spark 应用程序处理速度的主要贡献功能。Spark是Matei Zaharia于2009年在加州大学伯克利分校的AMPLab作为Hadoop子项目的一部分开发的。它后来在2010年以BSD许可证开源,然后在2013年捐赠给Apache软件基金会。从2014年开始,Spark在Apache基金会承担的所有项目中占据了顶级位置。
jack.yang
2025/04/05
600
Spark之RDD详解
RDD 概念与特性 RDD是Spark最重要的抽象。spark统一建立在抽象的RDD之上。设计一个通用的编程抽象,使得spark可以应对各种场合的大数据情景。RDD模型将不同的组件融合到一起,选用其中的几个/所有,可以应付各种不同的场景。解决了mr的缺陷: 弹性分布式数据集Resilient Distributed Dataset 只读分区数据集,final修饰的 一个分布式的数据集合,是spark中的核心,spark的操作都是围绕RDD展开的 真正的运算是在各个计算节点 当某个RDD操作丢失的时候,可
CSDN技术头条
2018/02/12
1.2K0
Spark之RDD详解
Spark初识-弹性分布式数据集RDD
RDD 是 Spark 提供的最重要的抽象概念,它是一种有容错机制的特殊数据集合,可以分布在集群的结点上,以函数式操作集合的方式进行各种并行操作。
栗筝i
2022/12/01
4180
Spark初识-弹性分布式数据集RDD
Spark介绍系列03--RDD
RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度。
Dlimeng
2023/06/29
1930
Spark介绍系列03--RDD
分布式弹性数据集(上)
传统的 MapReduce 框架之所以运行速度缓慢,很重要的原因就是有向无环图的中间计算结果需要写入硬盘这样的稳定介质中来防止运行结果丢失。
kk大数据
2019/08/14
6010
Spark RDD详解 -加米谷大数据
1、RDD是什么 RDD:Spark的核心概念是RDD (resilientdistributed dataset),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。
加米谷大数据
2018/03/21
1.6K3
Spark 理论基石 —— RDD
RDD,学名可伸缩的分布式数据集(Resilient Distributed Dataset)。是一种对数据集形态的抽象,基于此抽象,使用者可以在集群中执行一系列计算,而不用将中间结果落盘。而这正是之前 MR 抽象的一个重要痛点,每一个步骤都需要落盘,使得不必要的开销很高。
木鸟杂记
2021/09/26
9110
4.3 RDD操作
4.3 RDD操作 RDD提供了一个抽象的分布式数据架构,我们不必担心底层数据的分布式特性,而应用逻辑可以表达为一系列转换处理。 通常应用逻辑是以一系列转换(Transformation)和执行(Action)来表达的,前者在RDD之间指定处理的相互依赖关系,后者指定输出的形式。 其中: □转换:是指该操作从已经存在的数据集上创建一个新的数据集,是数据集的逻辑操作,并没有真正计算。 □执行:是指该方法提交一个与前一个Action之间的所有Transformation组成的Job进行计算,Spark会根据A
Albert陈凯
2018/04/08
9250
spark——spark中常说RDD,究竟RDD是什么?
在上一讲当中我们在本地安装好了spark,虽然我们只有local一个集群,但是仍然不妨碍我们进行实验。spark最大的特点就是无论集群的资源如何,进行计算的代码都是一样的,spark会自动为我们做分布式调度工作。
TechFlow-承志
2020/04/14
7070
spark——spark中常说RDD,究竟RDD是什么?
Spark——RDD
全称为Resilient Distributed Datasets,弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可并行计算的集合。RDD在逻辑上是一个数据集,在物理上则可以分块分布在不同的机器上并发运行。RDD允许用户在执行多个查询时显示的将工作缓存在内存中,后续的查询能够重用工作集,这极大的提升了查询速度。 在Spark 中,对数据的所有操作不外乎创建RDD,转换已有RDD以及调用RDD操作进行求值,每个RDD都被分为多个分区,这些分区运行在集群的不同节点上,RDD可以包含Python,Java,Scala中任意类型的对象,甚至可以是用户自定义对象。 RDD是Spark的核心,也是整个Spark的架构基础。它的特性可以总结如下:
羊羽shine
2019/08/08
6880
初识 Spark - 7000字+15张图解,学习 Spark 入门基础知识
Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架,目前已成为 Apache 软件基金会的顶级开源项目。
数人之道
2022/02/14
3.6K0
初识 Spark - 7000字+15张图解,学习 Spark 入门基础知识
一篇并不起眼的Spark面试题
spark是借鉴了Mapreduce,并在其基础上发展起来的,继承了其分布式计算的优点并进行了改进,spark生态更为丰富,功能更为强大,性能更加适用范围广,mapreduce更简单,稳定性好。主要区别
大数据真好玩
2021/07/07
4.8K0
【Spark研究】Spark编程指南(Python版)
Spark编程指南 译者说在前面:最近在学习Spark相关的知识,在网上没有找到比较详细的中文教程,只找到了官网的教程。出于自己学习同时也造福其他初学者的目的,把这篇指南翻译成了中文,笔者水平有限,文章中难免有许多谬误,请高手不吝赐教。 本文翻译自Spark Programming Guide,由于笔者比较喜欢Python,在日常中使用也比较多,所以只翻译了Python部分,不过Java和Scala大同小异。 概述 从高层次上来看,每一个Spark应用都包含一个驱动程序,用于执行用户的main函数以及在集群
陆勤_数据人网
2018/02/27
5.2K0
自学Apache Spark博客(节选)
作者:Kumar Chinnakali 译者:java达人 来源:http://dataottam.com/2016/01/10/self-learn-yourself-apache-spark-in-21-blogs-3/(点击文末阅读原文前往) 一、 Spark项目最初由加州大学伯克利分校AMP实验室的Matei在2009年发起,并在2010年根据BSD协议开源。2013年,该项目捐献给Apache软件基金会,转为Apache2.0 协议。2014年二月,Spark成为Apache重点项目。201
java达人
2018/01/31
1.2K0
自学Apache Spark博客(节选)
Spark RDD编程指南
在高层次上,每个 Spark 应用程序都包含一个驱动程序,该驱动程序运行用户的主要功能并在集群上执行各种并行操作。 Spark 提供的主要抽象是弹性分布式数据集 (RDD),它是跨集群节点分区的元素集合,可以并行操作。 RDD 是通过从 Hadoop 文件系统(或任何其他 Hadoop 支持的文件系统)中的文件或驱动程序中现有的 Scala 集合开始并对其进行转换来创建的。 用户还可以要求 Spark 将 RDD 持久化到内存中,以便在并行操作中有效地重用它。 最后,RDD 会自动从节点故障中恢复。
从大数据到人工智能
2022/04/17
1.5K0
Spark RDD编程指南
Spark Core 整体介绍
–num-executors: 执行器个数,执行器数可以为节点个数,也可以为总核数(单节点核数*节点数),也可以是介于俩者之间(用于调优) –executor-cores: 执行器核数, 核数可以1,也可以为单节点的内核书,也可以是介于俩者之间(用于调优) –executor-memory: 执行器内存, 可以为最小内存数(单节点内存总数/单节点核数),也可以为最大内存数(单节点内存总数),也可以是介于俩者之间(用于调优)
Freedom123
2024/03/29
5370
Spark Core 整体介绍
Spark和MapReduce相比,都有哪些优势?
在实际应用中,由于MapReduce在大量数据处理时存在高延迟的问题,导致Hadoop无力处理很多对时间有要求的场景,越来越多的公司开始采用Spark作为与计算大数据的核心技术。 Spark和MapReduce相比,都有哪些优势?一个最明显的优点就是性能的大规模提升。 通俗一点说,我们可以将MapReduce理解为手工作坊式生产,每一个任务都是由作坊独立完成。涉及到大规模的生产时,由于每一个作坊都要独立处理原料采购、制作、存储、运输等等环节,需要花费大量的人力(计算资源)、物力(能源消耗)和运输(IO操
Albert陈凯
2018/04/04
1.3K0
Spark和MapReduce相比,都有哪些优势?
相关推荐
Spark技术中最常见的面试问题-2023面试题库
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档