在运行spark应用程序将数据移动到java.util.NoSuchElementException时，None.get的修复方法是什么？

文章/答案/技术大牛

发布

1回答

apache-spark、apache-spark-sql、greenplum

我正在尝试使用greenplum spark连接器jar: greenplum-spark_2.11-1.3.0.jar将数据从GP移动到Hive。" = 12 AND "source_system_name" = 'BANKERS' AND "period_year" = 2017) AND (gp_segment_id = 48) 但是作业运行了一段时间，没有任何适当的结果/进度，它以

浏览 67提问于2019-02-05得票数 0

1回答

星星之火:将大型MySQL表读入DataFrame失败

mysql、apache-spark

因此，请放心，在经过几天(失败的)解决方案搜索之后，我将发布这个问题。我试图编写一个作业，将数据(每天一次)从MySQL表移动到存储在Amazon S3上的Parquet / ORC文件的Hive表中。目前，我们正在为此使用sqoop，但出于以下原因，我们希望迁移到Spark：为了利用DataFrame API的功能(将来，我们将在移动数据时执行转

浏览 1提问于2018-03-07得票数 7

2回答

火花出口例外

scala、apache-spark、apache-spark-sql

这是我在运行应用程序时获得的stackTrace：链接到代码是：在线显示打印，上的显示将抛出此异常。服务器配置:我在具有10 gb内存的8核

浏览 3提问于2016-11-03得票数 2

回答已采纳

1回答

在流模式下打印数据帧时，输出为空。

file、spark-streaming、spark-dataframe

我有一个文件夹，它用不同的txt文件以流式方式填充。我编写了一个代码，提取一些IP信息，然后将它们放在一个数据帧中。(如果我在非流式模式下使用它，它会很好)问题是，当我执行我的代码时，所有输出都是空的！这是我的代码：import org.apache.spark.mllib.regression.StreamingLinearRegressio

浏览 1提问于2017-05-29得票数 1

3回答

HDFS中的数据节点是否与spark集群中的executor节点相同？

apache-spark、hadoop、mapreduce、hdfs

我正在学习Apache Spark和HDFS。尽管我对一件事感到困惑，但我对这两种语言大体上都理解。我的问题是: HDFS中的数据节点是否与spark集群中的executor节点相同？换句话说，HDFS中的节点是对其包含的数据进行操作，还是将来自HDFS中的数据节点的数据发送到spark集群中的executors节点，在

浏览 1提问于2019-05-21得票数 0

4回答

当Android应用程序关闭或失去焦点时，如何调用该方法？

java、android、sqlite、security、ondestroy

因为我正在构建的应用程序将处理相当敏感的数据，所以我想在用户每次登录时将SQLite db与服务器同步，并在应用程序失去焦点时删除数据库(因为用户移动到主屏幕或其他应用程序)。为了测试所描述的生命周期，我只需覆盖所有生命周期方法(onCreate、onStart、onResume、onPause、onStop和onDestroy)，在</

浏览 5提问于2013-10-24得票数 4

回答已采纳

2回答

如何对大型数据集使用COGROUP

scala、apache-spark、apache-spark-sql

我有两个rdd's，即val tab_a: RDD[(String, String)]和val tab_b: RDD[(String, String)]，我对以下数据集使用了cogroup： { }对于映射函数，我使用tab_c代码分组值，对于小型数据集，它可以很好地工作，但是对于巨大的数据集，它会抛出Out Of Memo

浏览 3提问于2017-11-08得票数 1

回答已采纳

1回答

用于处理保存在HDFS中的小型二进制文件的Spark架构

hadoop、apache-spark、hbase、hdfs、apache-kafka

上传完成后，web应用程序将此文件和目录放入HDFS，然后在kafka上发送带有此文件路径的消息。Spark应用程序从kafka streaming读取消息，在master(驱动程序)上收集它们，然后处理它们。我首先收集消息，因为我需要将代码移动到数据，而不是将数据移动到接收消息的位置。我对kafka有问题，因为我被迫首先收集它们出于上述原因，当我想创建检查点应用程序</e

浏览 0提问于2017-01-05得票数 1

1回答

火花流待批处理

apache-spark、apache-kafka、spark-streaming

我正在运行一个Spark Streaming应用程序，它从Kafka (使用Direct Stream方法)读取数据，并将结果发布回Kafka。该应用程序的输入速率以及应用程序的吞吐量在大约一两个小时内保持稳定。之后，我开始看到在Active Batches队列中保留很长时间(对于30mins+)的批处理。Spark driver日志指示以下两种类型的</

浏览 3提问于2017-08-04得票数 0

2回答

如何处理timeseries数据库中的测量误差？

errors、data-cleansing

我有一张表，用来记录在不同传感器上定期采样的测量数据。每行记录时间、所测量数量的标识符以及值本身。完全删除违规行，丢失错误信息；用NULL替换值，丢失原来的错误值吗？还是我没有考虑过的另一种选择？

浏览 0提问于2015-06-01得票数 2

回答已采纳

1回答

将Spark1.3升级为Spark1.4-蜂巢上下文问题

java、apache-spark、hive

我正在尝试使用Spark1.3将Java应用程序升级到使用Spark1.4。我们以前允许使用多个Hive数据库/上下文，方法是让查询类似于：但是现在，当我从Spark执行这样的查询时，我会看到一个错误： org.apache.spark.sql.AnalysisException: no such table default.table_n

浏览 1提问于2015-07-30得票数 0

回答已采纳

2回答

Outlook 2007无限文件夹嵌套

exchange-2007、outlook-2007、outlook-web-app、directory

我们的exchange中有一个用户将收件箱的一个子文件夹移动到该子文件夹下，现在已经创建了一个无限嵌套的文件夹循环(请参阅屏幕快照)。📷 这在Outlook 2007和OWA中都很流行，因此它似乎是一个问题服务器端，但是我想不出是什么导致了它，更不用说如何解决问题了。我尝试创建文件夹的副本，然后将副本移回原始文件夹结构的副本，但是当我这样做时，2个循环文件夹随后是空的(在<

浏览 0提问于2011-09-15得票数 7

1回答

将死信消息移回处理主题的最简单方法？

c#、apache-kafka

当消息无法处理时，我们将消息放在死信主题上。我们现在有数百条关于死信主题的消息，这些消息是由于我们应用程序中的一个bug而被放在那里的。既然我们已经修复了引起bug的问题，那么将所有消息从死信主题“移回”到正常主题进行重新处理的最简单方法是什么？在RabbitMQ中，您只需通过RabbitMQ仪表板移动消息；在kafka中是否有

浏览 26提问于2020-07-02得票数 1

回答已采纳

1回答

正在将_temporary文件夹的内容移动到最终位置

hadoop、apache-spark、hadoop-yarn

Spark将正在处理的数据存储在_temporary文件夹中。作业完成后，数据将移动到其最终目标。但是，当有数万个分区时，将文件从一个位置移动到另一个位置需要相当长的时间。问:如何加快这一步？在纱线集群模式下运行应用程序，在裸机Hadoop上运行，而不是在亚马逊网络服务上(没

浏览 17提问于2018-03-06得票数 0

1回答

为什么Databricks连接测试不能在Mac上工作？

apache-spark、pyspark、databricks

我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误java.lang.NoSuchMethodErrorcorrect result 将火花控制设置为spark.databricks.service.ser

浏览 0提问于2019-07-22得票数 4

1回答

如何在AWS Glue PySpark中运行并行线程？

apache-spark、pyspark、aws-glue、aws-glue-spark

我有一个火花作业，它将从具有相同转换的多个表中提取数据。基本上是一个for循环，它遍历一个表列表，查询目录表，添加时间戳，然后插入Redshift (下面的例子)。) glueContext = GlueConte

浏览 4提问于2020-07-03得票数 5

回答已采纳

3回答

如何在库伯奈特斯上独立运行火种？

scala、apache-spark、kubernetes

我有一个Scala应用程序，它在独立模式下使用Spark2.1。应用程序将运行2小时并完成。它应该每月运行一次。我发现了几种结合Spark和Kubernetes的方法：大多数文档描述了如何在

浏览 4提问于2017-06-26得票数 3

1回答

为什么我的iOS应用程序的文档目录变成了一个文件？

ios

我们正在开发一个带有企业发行版的iOS应用程序。它在数百个设备中运行良好，但是我们发现一些iOS 6.1.3设备在第一次运行几个小时后未能启动它，因为应用程序的文档目录变成了一个文件！除了从远程HTTP服务器下载大约80 MP4的MP4文件外，我们的应用程序没有什么特别之处。我以为它操作文档目录时出了问题，但到目前为止，我们的代码中没有什么“危险”用法的线索。你

浏览 3提问于2013-11-20得票数 0

回答已采纳

2回答

在jar中设置静态位置时异常

spark-java

我有一个基本的spark-java应用程序，其中我将静态资源的位置设置为：当我在IDE中运行它时，当我尝试从jar运行它时，它工作得很好，我得到 spark.staticfiles.StaticFilesConfiguration - Error when creating

浏览 0提问于2016-08-20得票数 1

1回答

Spark -自动化部署和性能测试

testing、sbt、bigdata、apache-spark

我们正在开发一个使用Spark & Hive进行静态和即席报告的应用程序。对于这些静态报告，它们采用许多参数，然后在数据集上运行。我们希望能够更轻松地在群集上测试这些报告的性能。如果我们有一个测试集群运行，有足够的样本数据集，开发人员可以共享。为了加快开发速度，通过IDE将Spark应用程序部署到Spark集群(独立)的

浏览 0提问于2014-07-31得票数 4

点击加载更多