Spark: DataFrame缓存/持久化是从一个传输到另一个吗？
Spark中的DataFrame缓存/持久化不是从一个传输到另一个的过程。DataFrame缓存/持久化是指将DataFrame的数据存储在内存或磁盘上，以便后续的操作可以更快地访问数据，而不需要重新计算或从外部数据源加载。
DataFrame缓存是将DataFrame的数据存储在内存中，以便在后续的操作中可以更快地访问。通过缓存DataFrame，可以避免重复计算和频繁的磁盘读取，提高计算性能。
DataFrame持久化是将DataFrame的数据存储在磁盘上，以便在Spark应用程序重新启动后可以恢复数据。持久化可以使用不同的存储级别，包括内存、磁盘和序列化等级别，以满足不同的性能和容错需求。
DataFrame缓存/持久化的优势包括：
- 提高性能：通过将数据存储在内存中或磁盘上，可以避免重复计算和频繁的磁盘读取，从而提高计算性能。
- 加速迭代计算：对于需要多次迭代计算的场景，缓存/持久化可以避免每次迭代都重新计算数据，加快计算速度。
- 提高容错性：通过将数据持久化到磁盘上，即使在应用程序重新启动后也可以恢复数据，提高容错性。
DataFrame缓存/持久化适用于需要多次使用同一份数据进行计算的场景，例如迭代算法、交互式数据分析和机器学习等。
腾讯云提供了适用于Spark的云原生计算服务Tencent Cloud TKE，可以通过TKE来部署和管理Spark集群。此外，腾讯云还提供了云数据库 TencentDB、云存储 Tencent Cloud Object Storage（COS）等产品，可以与Spark集成使用。
更多关于Spark的信息和腾讯云相关产品的介绍，请参考以下链接：
相关·内容
假设我有这样的代码(Spark 1.6.2)： val df = sqlContext.read.parquet(url)url2)else如果我运行finalDF.unpersist，它真的会从内存中清除finalDF/df的数据吗？
浏览 25提问于2017-01-24得票数 1
回答已采纳
不明白为什么缓存的DFs (特别是第一个)在Spark中根据代码段显示不同的Storage Levelsprint(spark.version)Disk Memory Deserialized 1x Replicated<class 'pyspark.sql.dataframe.DataFrame&#x
浏览 2提问于2019-07-07得票数 1
下面每次调用JobServer runJob API，我都有一个时间开销逻辑来在runJob调用中反复构造一个对象。如果我可以做1，那么当我需要更新对象时，我也可以删除内存中的对象吗？
如果我能做到1，我可以共享对象交叉集群吗？RDD和DataFrame具有类似的缓存和持久化特性，我正在寻找常规的对象和模型。但是它们要求每次都调用readFile，而且只有缓存中的操作才能带来好处。另一个问题是如
浏览 3提问于2017-04-19得票数 1
2回答
请告诉我如何使用RDD方法--持久化()和Cache()，它似乎适用于我通常用java编写的常规程序，比如sparkStreaming，它是DAG的持续执行，每次更新RDD的值，因此perist/cache但是，如下面的文档所示，这些方法似乎只对交互式shell有用，或者与仅在任何引用变量中存储所需的RDD相比，我是否可以更有效地使用顺序程序中的缓存/持久化RDD。scala> linesWithSpark.cache()
res7: spark.RDD[Str
浏览 4提问于2015-06-23得票数 3
1回答
我有一个spark集群设置，并在我的数据集中尝试了本机scala和spark，并且这个设置在大多数情况下似乎都是有效的。我有以下问题沿着蜂巢的思路是错误的吗？我的另一个问题是
浏览 3提问于2014-10-03得票数 3
回答已采纳
1回答
我有两个关于星火串行化的问题，我可以简单地通过谷歌找不到答案。
如何打印当前使用的序列化程序的名称；我想知道spark.serializer是Java还是Kryo。我有下面的代码，它应该使用Kryo序列化；用于dataframe的内存大小变为21 same，这是在没有序列化的情况下缓存时的四分之一；但是当我删除Kryo配置时，大小保持相同的21 same。这是否意味着Kryo从一开始就没有被使用过？可能是因为<e
浏览 1提问于2017-12-26得票数 5
1回答
我想知道，我怎么可能有两个完全相同的阶段，尽管我缓存我的数据之前，每个行动在星火。你能看看下面的截图吗?对我来说很奇怪。这是否意味着我要在各个阶段执行两次任务？不幸的是，给出代码示例非常困难，但我将尝试解释我所做的事情。
从第4点获取两个数据格式，并将它们传递
浏览 0提问于2018-11-02得票数 0
3回答
我有一个dataaframe，我根据它在节点上的主键重新划分dFrame.repartition(distincCount.toInt/3,dFrame("sender"))
在为数据帧上的下一个缩减作业重新分区后
浏览 0提问于2016-07-12得票数 1
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
3回答
我有下一个代码。我正在做count来执行持久化操作并修复上面的转换。但我注意到，两个不同的count Job调用的DAG和stages第一次保持两次(当我希望第二个persist方法在第二次count调用中被调用时)
val df = sparkSession.read
浏览 0提问于2018-03-14得票数 1
2回答
如果我从HDFS中在我的RDD外壳中创建了10个pySpark，这是否意味着所有这10个RDD的数据都将驻留在Spark内存中？
如果我不删除RDD，它会永远存在于记忆中吗？
浏览 5提问于2016-11-22得票数 21
回答已采纳
1回答
我是星火公司的新手，我想了解是否会有额外的开销/延迟来持久化和不持久化内存中的数据。我在火花流作业中缓存数据帧，并想知道这是否会导致批处理执行中的额外延迟。
浏览 2提问于2020-04-07得票数 1
回答已采纳
1回答
我已经在Spark中将一个蜂窝表缓存到一个数据帧中。 使用计时器，我在2小时后再次安排缓存，并存储到不同的数据帧中。但这一次，缓存并没有像我预期的那样工作。它似乎没有缓存表，因为我正在监控日志和可用的空闲Ram。 目的-我有一个指向缓存数据的静态变量dataframe。现在，2小时后，我想刷新缓存，然后将该变量指向这个新缓存，并取消对旧缓存的持久
浏览 55提问于2020-08-31得票数 0
1回答
在Rest项目中，我有3个POJO类类别，一个要持久化，另一个要从前端传输数据到持久化，另一个要将数据传输到前端以显示。用于将数据传输到前端的POJO通常与用于持久化的POJO重复，因为POJO是这些对象的一部分，所以我不希望使用一些POJO来持久化并将数据传输到请求中，我只需要其中的一部分，而不是所有的数据。
浏览 1提问于2019-07-01得票数 0
回答已采纳
1回答
如果我有一个Hadoop集群，比如说，3个数据节点和1个名称节点，并且在spark代码中我使用了类似dataframe.persist(MEMORY_AND_DISK)的东西，那么这些数据在哪里被持久化另外，缓存数据的存储是否依赖于堆大小？如果是这样，我如何增加所有节点的堆大小？
浏览 12提问于2018-02-12得票数 1
在Spark中，我们需要在每次转换和操作之后保持()相同的DataFrame吗？例如：df.persist.count // Cache #1
df = df.map(...) // the
浏览 0提问于2021-04-25得票数 1
我正在开发一个spark程序，我们将从数据库中读取1亿条记录。在RDD持久化功能中，我们可以选择将RDD保存到磁盘？我们可以在Dataframe cachetable中做到这一点吗？我也不想丢失cachetabl
浏览 2提问于2016-08-15得票数 1
my_dataframe = sparkSession.createDataFrame( an_rdd, a_schema )my_dataframe= my_dataframe.persist()my_dataframe.show() # Works.这可能是Spark优化了持久</e
浏览 40提问于2020-10-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
