开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

什么时候可以取消RDD的持久化？

RDD的持久化可以在任何时候取消，具体取决于应用程序的需求和场景。以下是一些常见的取消RDD持久化的情况：

数据不再需要持久化：当RDD的数据不再需要在后续的计算中使用时，可以取消持久化以释放存储资源。例如，当某个RDD被缓存以供多次使用，但在后续计算中不再需要使用它时，可以取消持久化。
存储资源紧张：当存储资源变得紧张时，可以取消RDD的持久化以释放存储空间。这种情况通常发生在集群资源有限或者其他需要更重要的数据存储的情况下。
数据更新频繁：如果RDD的数据源频繁更新，而且每次更新后的数据都不同，那么持久化可能不再有意义。在这种情况下，可以取消持久化以避免存储过时的数据。

需要注意的是，取消RDD的持久化并不会立即删除已经持久化的数据，而是在下一次RDD计算时，Spark会自动将持久化的数据从存储中删除。此外，取消持久化后，如果后续需要使用相同的RDD数据，Spark将重新计算并缓存该RDD。

腾讯云相关产品和产品介绍链接地址：

腾讯云计算服务：https://cloud.tencent.com/product/cvm
腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
腾讯云云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
腾讯云移动开发（移动推送、移动分析等）：https://cloud.tencent.com/product/mobile
腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
腾讯云元宇宙服务（Tencent XR）：https://cloud.tencent.com/product/xr

相关搜索:Spark列出所有缓存的RDD名称并取消持久化 Spark:取消持久化后未释放内存 Spark:取消持久化我丢失了引用的RDDs spark历史服务器不显示RDD，即使它是持久化的为什么持久化sklearn模型会出现取消酸洗错误？扁平化RDD的密钥可以取消匿名化值子句吗？mysql数据的持久化可以在docker镜像中持久化文件吗？当尝试持久化到Apache Spark中的数据库时，RDD不起作用如何扁平化序列的RDD 什么时候在非事件源CQRS代码库中持久化我的数据 mobx-持久化不在本地存储中持久化我的数据可以在pypi包中提供持久化数据吗？持久化的底层安卓反应中的持久化状态持久函数中的并行化持久化值的BigQuery函数 akka持久化回调参数是否与持久化事件的意图相同 Akka持久化未处理的消息

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

2021年大数据Spark（十七）：Spark Core的RDD持久化

在实际开发中某些RDD的计算或转换可能会比较耗费时间，如果这些RDD后续还会频繁的被使用到，那么可以将这些RDD进行持久化/缓存，这样下次再使用到的时候就不用再重新计算了，提高了程序运行的效率。

03

Spark常见20个面试题（含大部分答案）

1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter 或者多个父RDD分区对应一个子RDD分区，如co-partioned join

01

PySpark之RDD入门最全攻略！

众所周知，Spark的核心是RDD（Resilient Distributed Dataset）即弹性分布式数据集，属于一种分布式的内存系统的数据集应用。Spark主要优势就是来自RDD本身的特性，RDD能与其他系统兼容，可以导入外部存储系统的数据集，例如，HDFS、HBase或者其他Hadoop数据源。 1、RDD的基本运算 RDD运算类型说明转换（Transformation）转换运算将一个RDD转换为另一个RDD，但是由于RDD的lazy特性，转换运算不会立刻实际执行，它会等到执行到“动作”运算，才会

07

基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计

原因：如果只有一组策略，面向不同的写的场景，会导致数据丢失 - 针对不同读写速度，设置不同策略，进行交叉保存快照，满足各种情况下数据的保存策略

01

Spark Core——RDD何以替代Hadoop MapReduce？

继续前期依次推文PySpark入门和SQL DataFrame简介的基础上，今日对Spark中最重要的一个概念——RDD进行介绍。虽然在Spark中，基于RDD的其他4大组件更为常用，但作为Spark core中的核心数据抽象，RDD是必须深刻理解的基础概念。

02

万字详解 Spark开发调优（建议收藏）

在大数据计算领域，Spark 已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark 的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。

01

万字详解 Spark Core 开发调优（建议收藏）

前两天和大家分享了一篇关于 Spark Core 数据倾斜调优相关的文章，今天继续和大家分享一篇关于 Spark 开发调优的文章，干货文章，建议收藏！

01

[spark] RDD缓存源码解析

我们可以利用不同的存储级别存储每一个被持久化的RDD。可以存储在内存中，也可以序列化后存储在磁盘上等方式。Spark也会自动持久化一些shuffle操作（如reduceByKey）中的中间数据，即使用户没有调用persist方法。这样的好处是避免了在shuffle出错情况下，需要重复计算整个输入。

03

RDD持久化

1.RDD持久化原理 Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。 2.巧妙使用RDD持久化，甚至在某些场景下，可以将spark应用程序的性能提升10倍。对于迭代式算法和快速交互式应用来说，RD

04

【Spark】Spark Core Day04

官方文档：http://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-operations

01

Spark性能调优篇二之重构RDD架构及RDD持久化

上一篇介绍了一些关于提交Spark任务参数的调优，本片文章来聊聊一个Spark作业中RDD的重构，以及一些复用的RDD持久化的常用策略。

02

Spark系列课程-00xxSpark RDD持久化

我们这节课讲一下RDD的持久化 RDD的持久化这段代码我们上午已经看过了，有瑕疵大家看出来了吗？有什么瑕疵啊? 大家是否还记得我在第二节课的时候跟大家说，RDD实际是不存数据的？ image.

08

大数据入门：Spark持久化存储策略

持久化存储是Spark非常重要的一个特性，通过持久化存储，提升Spark应用性能，以更好地满足实际需求。而Spark的持久化存储，根据不同的需求现状，可以选择不同的策略方案。今天的大数据入门分享，我们就来具体讲讲Spark持久化存储策略。

02

spark性能调优之重构RDD架构，RDD持久化

当第一次对RDD2执行算子，获取RDD3的时候，就会从RDD1开始计算，就是读取HDFS文件，然后对RDD1执行算子，获取到RDD2，然后再计算，得到RDD3 默认情况下，多次对一个RDD执行算子，去获取不同的RDD；都会对这个RDD以及之前的父RDD，全部重新计算一次；读取HDFS->RDD1->RDD2-RDD4这种情况，是绝对绝对，一定要避免的，一旦出现一个RDD重复计算的情况，就会导致性能急剧降低。比如，HDFS->RDD1-RDD2的时间是15分钟，那么此时就要走两遍，变成30分钟另外一种情

06

RDD持久化原理

Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD读取一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。

01

Spark-RDD持久化

使用不同参数的组合构造的实例被预先定义为一些值，比如MEMORY_ONLY代表着不存入磁盘，存入内存，不使用堆外内存，不进行序列化，副本数为1，使用persisit()方法时把这些持久化的级别作为参数传入即可。

03

Spark笔记7-RDD持久化和分区

有时候需要访问同一组值，不做持久化，会重复生成，计算机代价和开销很大。持久化作用：

01

4.3 RDD操作

4.3 RDD操作 RDD提供了一个抽象的分布式数据架构，我们不必担心底层数据的分布式特性，而应用逻辑可以表达为一系列转换处理。通常应用逻辑是以一系列转换（Transformation）和执行（Action）来表达的，前者在RDD之间指定处理的相互依赖关系，后者指定输出的形式。其中： □转换：是指该操作从已经存在的数据集上创建一个新的数据集，是数据集的逻辑操作，并没有真正计算。 □执行：是指该方法提交一个与前一个Action之间的所有Transformation组成的Job进行计算，Spark会根据A

07

Spark Core快速入门系列(8) | RDD 的持久化

每碰到一个 Action 就会产生一个 job, 每个 job 开始计算的时候总是从这个 job 最开始的 RDD 开始计算.

01

Spark2.3.0 持久化

Spark 中最重要的功能之一是在操作之间将数据集持久化(缓存)在内存中。当你持久化一个 RDD 时，每个节点都会保存 RDD 的任意分区，RDD在内存中计算时该数据集（或从其派生的数据集）上的其他 Action 可以重用它。这样可以使后面的 Action 操作执行的更快（通常超过10倍）。缓存是迭代算法和快速交互的关键工具。

03

Spark性能调优02-代码调优

代码调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的应用场景，灵活地运用到自己的Spark作业中。

02

Spark性能优化指南——基础篇

原文：https://tech.meituan.com/spark-tuning-basic.html

02

Spark程序开发调优（前奏）

Spark 性能优化的第一步，就是要在开发 Spark 作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些 Spark 基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的应用场景，灵活地运用到自己的 Spark 作业中。

01

用PySpark开发时的调优思路（上）

这一小节的内容算是对pyspark入门的一个ending了，全文主要是参考学习了美团Spark性能优化指南的基础篇和高级篇内容，主体脉络和这两篇文章是一样的，只不过是基于自己学习后的理解进行了一次总结复盘，而原文中主要是用Java来举例的，我这边主要用pyspark来举例。文章主要会从4个方面（或者说4个思路）来优化我们的Spark任务，主要就是下面的图片所示：（本小节只写了开发习惯调优哈）

02

Spark 性能调优之开发调优

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。

03

【技术博客】Spark性能优化指南——基础篇

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合

06

spark中的rdd的持久化

rdd的全称为Resilient Distributed Datasets（弹性分布式数据集） rdd的操作有两种transfrom和action。 transfrom并不引发真正的rdd计算，action才会引发真正的rdd计算。 rdd的持久化是便于rdd计算的重复使用。在rdd参与第一次计算后，设置rdd的存储级别可以保持rdd计算后的值在内存中。(1)另外，只有未曾设置存储级别的rdd才能设置存储级别，设置了存储级别的rdd不能修改其存储级别。(2)(1)的举例如下：rdd1要经过trans

08

揭秘Spark应用性能调优

我们知道Spark 可以通过 RDD 实现计算链的原理：转换函数包含在 RDD 链中，但仅在调用 action 函数后才会触发实际的求值过程，执行分布式运算，返回运算结果。要是在同一 RDD 上重复调用 action 会发生什么？

02

【大数据哔哔集20210117】Spark面试题灵魂40问

1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类 local：只启动一个executor local[k]:启动k个executor local[ * ]:启动跟cpu数目相同的 executor

02

Spark Checkpoint的运行原理和源码实现

1、RDD.iterator 方法，它会先在缓存中查看数据 (内部会查看 Checkpoint 有没有相关数据)，然后再从 CheckPoint 中查看数据

05

Spark详解06容错机制Cache 和 Checkpoint Cache 和 Checkpoint

Cache 和 Checkpoint 作为区别于 Hadoop 的一个重要 feature，cache 机制保证了需要访问重复数据的应用（如迭代型算法和交互式应用）可以运行的更快。与 Hadoop MapReduce job 不同的是 Spark 的逻辑/物理执行图可能很庞大，task 中 computing chain 可能会很长，计算某些 RDD 也可能会很耗时。这时，如果 task 中途运行出错，那么 task 的整个 computing chain 需要重算，代价太高。因此，有必要将计算代价较大的

[spark] Checkpoint 源码解析

在spark应用程序中，常常会遇到运算量很大经过很复杂的 Transformation才能得到的RDD即Lineage链较长、宽依赖的RDD，此时我们可以考虑将这个RDD持久化。

02

Spark Core快速入门系列(9) | RDD缓存和设置检查点

RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。

02

2021年大数据Spark（十八）：Spark Core的RDD Checkpoint

RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。

03

大数据入门：Spark RDD基础概念

在Spark框架的核心部分，SparkCore作为平台基础通用执行引擎，重要性自是不必多说。而在SparkCore当中，RDD作为SparkCore的核心抽象，是需要重点搞懂的概念。今天的大数据入门分享，我们就来讲讲Spark RDD入门基础。

04

Spark RDD中的持久化

持久化在早期被称作缓存（cache），但缓存一般指将内容放在内存中。虽然持久化操作在绝大部分情况下都是将RDD缓存在内存中，但一般都会在内存不够时用磁盘顶上去（比操作系统默认的磁盘交换性能高很多）。当然，也可以选择不使用内存，而是仅仅保存到磁盘中。所以，现在Spark使用持久化（persistence）这一更广泛的名称。如果一个RDD不止一次被用到，那么就可以持久化它，这样可以大幅提升程序的性能，甚至达10倍以上。默认情况下，RDD只使用一次，用完即扔，再次使用时需要重新计算得到，而持久化操作避免了这里的

03

RDD操作—— 行动(Action)操作

行动操作是真正触发计算的地方。Spark程序执行到行动操作时，才会执行真正的计算，从文件中加载数据，完成一次又一次转换操作，最终，完成行动操作得到结果。

04

Spark系列(四)RDD编程

Spark大数据处理的核心是RDD,RDD的全称为弹性分布式数据集，对数据的操作主要涉及RDD的创建、转换以及行动等操作，在Spark系列(二)中主要介绍了RDD根据SparkContext的textFile创建RDD的方法，本小节将介绍RDD编程之转换（Transform）和行动（Action）两种操作。

03

【Spark篇】---Spark中控制算子

Spark中控制算子也是懒执行的，需要Action算子触发才能执行，主要是为了对数据进行缓存。

03

geotrellis使用（三十六）瓦片入库更新图层

前言 Geotrellis 是针对大数据量栅格数据进行分布式空间计算的框架，这一点毋庸置疑，并且无论采取何种操作，其实都是先将大块的数据切割成一定大小的小数据（专业术语为瓦片），这是分治的思想，也是分布式计算的精髓，所以使用 Geotrellis 的第一步工作就是要将数据切片（无论是存储在内存中还是进行持久化），然而即使其能力再“大”在实际工作中也难以处理以下几种需求：全球（大范围）高分辨率遥感影像数据，数据量在 TB 级；局部地区数据更新；不同时间数据融合。这几种情况下我们都很难或者没有办法同时对

08

Spark Core 整体介绍

–num-executors: 执行器个数,执行器数可以为节点个数，也可以为总核数(单节点核数*节点数),也可以是介于俩者之间(用于调优) –executor-cores: 执行器核数, 核数可以1，也可以为单节点的内核书，也可以是介于俩者之间(用于调优) –executor-memory: 执行器内存, 可以为最小内存数(单节点内存总数/单节点核数),也可以为最大内存数(单节点内存总数),也可以是介于俩者之间(用于调优)

01

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day16】——Spark3

1）用于设置RDD持久化数据在Executor内存中能占的比例，默认是0.6,，默认Executor 60%的内存，可以用来保存持久化的RDD数据。根据你选择的不同的持久化策略，如果内存不够时，可能数据就不会持久化，或者数据会写入磁盘； 2）如果持久化操作比较多，可以提高spark.storage.memoryFraction参数，使得更多的持久化数据保存在内存中，提高数据的读取性能，如果shuffle的操作比较多，有很多的数据读写操作到JVM中，那么应该调小一点，节约出更多的内存给JVM，避免过多的JVM gc发生。在web ui中观察如果发现gc时间很长，可以设置spark.storage.memoryFraction更小一点。

01

Spark Persist,Cache以及Checkpoint

下面我们将了解每一个的用法。重用意味着将计算和数据存储在内存中，并在不同的算子中多次重复使用。通常，在处理数据时，我们需要多次使用相同的数据集。例如，许多机器学习算法（如K-Means）在生成模型之前会对数据进行多次迭代。如果处理过程中的中间结果没有持久存储在内存中，这意味着你需要将中间结果存储在磁盘上，这会降低整体性能，因为与RAM相比，从磁盘访问数据就像是从隔壁或从其他国家获取内容。下面我们看一下在不同存储设备上的访问时间：

02

关于Spark框架性能优化的常见Tricks

1.使用reduceByKey/aggregateByKey替代groupByKey

01

Spark你一定学得会（二）No.8

第一次分享的妥妥就是入门的干货，小伙伴们最好可以自己敲一敲代码，不然只看我的分享一点用都木有。但还是有很多小伙伴表示看不懂，没关系，慢慢来自己操作一遍有什么问题后台问我就可以了。啥也不说了，就是干货，首先祭上今天的关键代码。今天主要跟大家讲讲Spark里面RDD的持久化机制。首先持久化机制有什么用呢？一个作用是保存到硬盘给其他小伙伴查看，另外一个作用是重用，我们都知道RDD是不可变的，所以当RDD有重用的时候，如果没有持久化，RDD都会乖乖地重新算。。 object RDDPersist { def

上万字详解Spark Core（好文建议收藏）

Spark 产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算。

03

RDD持久化策略

RDD持久化是可以手动选择不同的策略的。比如可以将RDD持久化在内存中、持久化到磁盘上、使用序列化的方式持久化，多持久化的数据进行多路复用。只要在调用persist()时传入对应的StorageLevel即可。

01

RDD原理与基本操作 | Spark，从入门到精通

欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：）

02

Spark——RDD操作详解

一、基本RDD 1、针对各个元素的转化操作最常用的转化操作是map()和filter()。转化操作map()J接收一个函数，把这个函数用于RDD中的每一个元素，将函数的返回结果作为结果RDD中对应元素。而转化操作filter()则接收一个函数，将RDD满足该函数的元素放入新的RDD中返回。map()的返回值类型不需要和输入类型一样。从一个RDD变成另外一个RDD。lazy，懒执行。比如根据谓词匹配筛选数据就是一个转换操作。例：求平均值 Scala：

02

Spark性能优化 (1) | 常规性能调优

Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭