1回答
星星之火SQL异常处理
scala、dataframe、apache-spark、error-handling、apache-spark-sql
为了处理RDD操作中的Spark，我可以使用以下方法对其他exceptions列进行处理：castExcepDf.show()
在Spark上可以处理这样的异常吗？例如，在当前发生任何错误的情况下，Spark只返回
浏览 1提问于2019-11-12得票数 9
回答已采纳
1回答
将pyspark dataframe转换为pandas抛出org.apache.spark.SparkException:不可见标签:空
python、apache-spark、pyspark
当我用count，collect等替换toPandas时，同样的异常也会发生。最让我惊讶的是，当我删除它并执行下面的代码行时，我使用rdd来计算所有东西都运行得很好，并返回结果。我已经读了几篇关于这是StringIndexer的问题以及我如何使用handleInvalid = 'keep'的帖子，但不幸的是，我使用的是Spark2.1，老实说，我不认为这与StringIndexer这里有什
浏览 2提问于2019-01-29得票数 0
6回答
为什么“发现笛卡尔产品内部连接逻辑计划”失败？
scala、apache-spark、apache-spark-sql
我使用的是Spark2.1.0。 at org.apache.spark.sql.catalyst.optimizer.CheckCartesianProducts$$anonfun$apply$19.applyOrE
浏览 0提问于2017-06-26得票数 38
1回答
Spark中的PushDownPredicate与Exchange重用
apache-spark-sql
我正在执行包含UNION的给定查询。我的目的是通过禁用shell中的PushDownPredicate配置设置来重用两个查询分支之间的交换。在启用了PushDownPredicate 的之后，Spark将把筛选条件推到接近源的地方，从而在查询的每个分支上插入1 Exchange (Shuffle) --从而导致2交换的总数。这将使Spark只使用单一的 Excha
浏览 2提问于2020-07-15得票数 0
回答已采纳
1回答
Spark:从2.1.0升级到2.2.1时，Dataframe操作非常慢
java、scala、apache-spark
这是在单元测试中。当我回到spark 2.1.0时，它又回到了正常的速度org.apache.spark.sql.catalyst.optimizer.PruneFilters$$anonfun$apply$16$$anonfun$25.apply(Optimize
浏览 2提问于2018-11-21得票数 1
1回答
排除Spark优化器中的特定规则
apache-spark-sql
我有以下涉及UNION的Spark (2.4.0)查询。现在，我试图限制优化器从其查询的物理计划中排除特定规则，以便Spark只为这两个查询创建一个Exchange。我试过以下几句都是徒劳的。SET "spark.sql.optimizer.excludeRules" = org.apache.spark.sql.catalyst.optimizer</
浏览 1提问于2020-07-20得票数 0
回答已采纳
1回答
无法合并Scala Spark中的两个DataFrames
scala、apache-spark、merge
我一直在尝试将1个DataFrame附加到Scala中的另一个DF上。本例中的追加操作只是将一个相同大小的新列添加到现有列中-不涉及键匹配。两个DataFrames的形状相同(仅5行1列)。$$anonfun$apply$20.applyOrElse(Optimizer.scala:1080)
at org.apache.spark.sql.catalyst.optim
浏览 8提问于2017-08-05得票数 0
回答已采纳
1回答
在使用该UDF的列上添加筛选器时，触发Sql UDF抛出NullPointer。
scala、apache-spark、apache-spark-sql、user-defined-functions
如果我做了以下操作，就不会有错误：它的结果(与预期一样)是： at org.apache.spark.sql.catalyst.optimizer.EliminateOuterJoin.org$apache$spark$sql$catalyst$<
浏览 4提问于2018-01-02得票数 5
回答已采纳
1回答
UnaryTransformer实例抛出ClassCastException
apache-spark、apache-spark-2.0
(ScalaUDF.scala:1072)中的异常:未能在org.apache.spark.sql.catalyst.expressions.Alias.eval(namedExpressions.scala$$anonfun$apply$21.applyOrElse(Optimizer.scala:1078) at org.apache.spark.sql.catalyst.optimiz
浏览 2提问于2017-05-11得票数 0
1回答
为什么我的UDF (在"cluster“模式下)是在本地(在驱动程序中)而不是在worker(s)上执行的？
java、apache-spark、user-defined-functions
$23.apply(Optimizer.scala:1364) at org.apache.spark.sql.catalyst.optimi
浏览 20提问于2020-04-07得票数 1
回答已采纳
2回答
在Spark中设置配置值
apache-spark、apache-spark-sql
如何在Shell中设置配置参数值？在火花壳中可以使用：
scala> spark.config.set("spark.sql.optimizer.excludeRules", "org.apache.spark.sql.catalyst.optimizer.PushDownPredicate我尝试过在Spark-Sql shel
浏览 2提问于2020-07-13得票数 1
回答已采纳
2回答
Spark3.0 UTC到AKST转换失败与ZoneRulesException:未知时区ID
apache-spark、apache-spark-sql
我无法将UTC的时间戳转换为Spark3.0中的AKST时区。同样的工作在火花2.4。所有其他转换工作( EST，PST，MST等)。 at org.apache.spark.sql.catalyst.optimizer.ConstantFolding$$anonfun$apply$1$$anonfun$applyOrElse$1.applyOrEl
浏览 0提问于2021-01-25得票数 2
回答已采纳
1回答
无法在Scala应用程序中创建Spark SQLContext
scala、apache-spark、sbt
/spark/sql/SQLContext.optimizer$lzycompute()Lorg/apache/spark/sql/catalyst/optimizer/Optimizer; @20:putfieldType 'org/apache/spark&
浏览 16提问于2016-08-17得票数 0
2回答
由: java.time.format.DateTimeParseException:文本'2020-05-12 10:23:45‘无法解析，未解析文本位于索引10
scala、apache-spark、databricks
我正在创建一个UDF，它将为我找到每周的第一天。重要备注--周开始日是星期一。$applyOrElse$23.apply(Optimizer.scala:1471)
浏览 3提问于2020-07-02得票数 1
回答已采纳
1回答
如何在DataFrame中使用CountVectorizerModel.vocabulary将termIndices转换为term？
apache-spark、user-defined-functions、apache-spark-ml
$$anonfun$apply$23.applyOrElse(Optimizer.scala:1191) at org.apache.spark.sql.catalys
浏览 0提问于2018-12-17得票数 0
2回答
什么是Apache Spark (SQL)中的Catalyst Optimizer？
pyspark、pyspark-sql
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
1回答
星火中的Join和withColumn异常
apache-spark、join、pyspark、apache-spark-sql
=true; at org.apache.spark.sql.catalyst.optimizer.CheckCartesianProducts$$anonf
浏览 0提问于2019-01-21得票数 0
1回答
火花催化剂优化器铸造异常
java、apache-spark、apache-spark-sql
： at org.apache.spark.sql.catalyst.optimizer.CombineTypedFilters$$anonfun$org$apache$spark$sql$catalyst$optimizer$CombineTypedFil
浏览 0提问于2018-01-31得票数 1
1回答
org.apache.spark.sql.catalyst.plans.logical.DynamicFileFilterWithCardinalityCheck类有接口
apache-spark、iceberg、apache-iceberg
在启动带有冰山依赖项的星火壳时，我们得到了以下错误： --packages org.apache.iceberg:iceberg-spark3-runtime:0.13.0.extendedOperatorOptimizationRules(BaseSessionStateBuilder.scala:248)
at org.apache.spark.sql.catalyst.optimizer.
浏览 22提问于2022-08-17得票数 -1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号