当我使用get value()方法时，我仍然可以访问这些变量，但是当我使用value方法时，它抛出错误，这是正确的。
浏览 13提问于2017-02-16得票数 0
1回答
我正在尝试从Python方法中创建广播变量(尝试抽象一些我正在创建的依赖于分布式操作的实用程序方法)。但是，我似乎不能从Spark workers中访问广播变量。sc.broadcast(someValue) element *= V.valuesc.bro
浏览 0提问于2014-11-17得票数 12
回答已采纳
1回答
当使用spark时，我们可以使用广播变量来优化火花分配不变状态的方式。
1)广播变量是如何内部工作的？当从闭包中引用广播变量句柄时，就像上面所说的那样，它将像其他变量一样被序列化--只是广播变量句柄本身不包含实际对象。当闭包到达调用broadcastVar.value的点时，广播变量<
浏览 0提问于2020-11-04得票数 3
回答已采纳
但是，这会导致每个分区的rddToTransform被序列化多次吗？ rddToTransform.complexTransformations2InvlovingAnotherRdd}
我可以给出一个广播变量的例子假设我们有一个大数据
浏览 0提问于2018-11-06得票数 0
回答已采纳
我尝试过将数据保存在数据中并将df写到挂载位置，但是数据在GBs中是巨大的，并且我得到了spark.rpc.message.maxSize (268435456字节)错误。我尝试过将数据保存在广播变量中(它成功地保存了数据)，但我不知道如何将数据从广播变量写入挂载位置。下面是如何在广播变量中保存数据
spark = SparkSession.builder.appName(
浏览 3提问于2022-04-22得票数 0
4回答
Bob" -> "Canada")sc.parallelize(names).flatMap(broadcastMap.value.get).collect.foreach(println)
Canada我在YARN模式下运行这个spark作业，我确信驱动程序和执行器不在同一个node/JVM中</em
浏览 1提问于2019-09-19得票数 0
1回答
在我的pyspark代码中，我声明了一个广播变量。最后，我想销毁这个变量，但是
br = sc.broadcast(my_value)br.destroy()
我的spark版本是1.6.1，而
浏览 1提问于2017-07-19得票数 0
回答已采纳
1回答
oldTargetIdxb.destroy new RDDLabeledPoint(newdata,copyColumnMap,newtargetmap,ilp.name)但是，在方法的末尾销毁了广播变量之后，RDD中的newtrgt变量也被销毁了。问题是，一旦从该方法返回RDD，任何代码中的任何分析师都可以使用RDD。所以，我似乎失去了对广播</em
浏览 0提问于2018-06-20得票数 0
6回答
我试图有效地加入两个DataFrames，其中一个是大的，第二个是小的。有没有办法强迫广播忽略这个变量？
浏览 6提问于2015-09-07得票数 48
1回答
我有一个查询(如下所示)，当我运行它时，有时Spark会抛出这个错误-我们从源中提取数据，并在临时视图中的不同步骤中应用几个转换逻辑。谁能帮助我理解这个错误的原因，并减轻同样的错误。虽然set spark.sql.autoBroadcastJoinThr
浏览 1提问于2019-09-30得票数 0
我正在广播一个hashmap并从下面的方法返回一个映射。LookupUtil.loadLookup(ctx, FilePath); codePairMap= CodeBC.valueException e) { }
}
并将映射传递给下面的方法在方法中看到
浏览 1提问于2016-05-27得票数 1
回答已采纳
假设我有一个用例，需要使用python列表中的值来子集spark数据框架。我不明白如果我使用普通python列表 v/s 广播变量来完成这个任务，会有什么不同。Eg:df = spark.createDataFrame([('1','A'),('2','B'
浏览 4提问于2021-08-19得票数 1
回答已采纳
据我所知，当Spark执行广播连接时，它首先收集最小的(广播) RDD给驱动程序，从它生成一个广播变量，然后才将其上传到每个目标节点。如果广播RDD > spark.driver.memory，有时会导致驱动程序内存溢出。示例:假设您有3个节点<em
浏览 0提问于2016-10-28得票数 5
1回答
我找到了这个链接，它显示了一个实现，在这个实现中，广播变量正在被更新。这是否是一个有效的实现意味着执行者将看到广播变量的最新值？
浏览 3提问于2016-09-27得票数 1
回答已采纳
1回答
我的SPARK项目(用Java编写)需要跨执行器访问(选择查询结果)不同的表。这个问题的一个解决方案是:
表非常大，因此创建大容量的Map并将其作为广播变量<
浏览 0提问于2018-12-18得票数 0
回答已采纳
还有一个广播变量，即HashMap。广播变量
final Broadcast<HashMap<String, HashMap&
浏览 10提问于2017-05-22得票数 3
1回答
这是一个非常简单的问题:在spark中，可以使用broadcast有效地将变量发送到执行器。这是怎么回事？
何时发送值:当我调用broadcast时，还是何时使用这些值？访问简单变量和广播变量有区别吗？当我调用.value方法时，引擎盖下会发生什么？
浏览 0提问于2016-11-18得票数 15
回答已采纳
SparkContext Class中getOrCreate()方法的用途是什么，如何使用？为此，我没有找到任何合适的示例(编码方面)。我所理解的是，使用上面的方法，我可以在应用程序之间共享spark上下文。我们这里所说的应用程序是什么意思？应用程序是提交给spark集群的不同作业吗？如果是这样，那么我们应该能够使用在一个应用程序中注册的全局<e
浏览 4提问于2017-06-06得票数 2
我有三个节点的Spark集群。我正在准备一个map和广播map，以便它在每个节点上都可用。但是从广播地图中获取数据需要花费大量的时间。广播地图有140万条记录。我是这样广播地图的：并通过这种方式获得价值：val sd_stud
浏览 0提问于2019-11-21得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号