Apache Spark作业已完成，但hadoop作业仍在运行
Apache Spark是一个开源的大数据处理框架，它提供了高效的数据处理能力和分布式计算功能。与传统的Hadoop相比，Spark具有更快的速度和更强大的功能。
Apache Hadoop是一个开源的分布式存储和计算框架，它可以处理大规模数据集并提供高可靠性和容错性。Hadoop将数据分布式存储在多个节点上，并通过MapReduce编程模型进行并行计算。
在这个问答中，Apache Spark作业已经完成，但是Hadoop作业仍在运行。这意味着Spark作业已经成功地处理了数据，而Hadoop作业正在继续处理其他任务或数据。
对于这种情况，可以采取以下措施：
- 等待：可以等待Hadoop作业完成，然后再继续下一步操作。这取决于Hadoop作业的规模和复杂性，可能需要一些时间来完成。
- 并行处理：如果有多个Hadoop作业需要运行，可以考虑并行处理它们。这样可以节省时间并提高效率。
- 资源调整：如果Hadoop作业运行时间过长，可以考虑增加计算资源，如增加节点或调整集群配置，以加快作业的运行速度。
- 优化作业：对Hadoop作业进行优化，如调整作业参数、使用合适的数据压缩算法、合理划分数据等，可以提高作业的执行效率。
总结起来，Apache Spark和Hadoop都是大数据处理的重要工具，它们可以相互配合使用，提供高效的数据处理和分布式计算能力。在处理大规模数据时，可以根据具体情况选择合适的工具和优化策略，以提高数据处理效率和性能。
腾讯云相关产品推荐：
- 腾讯云大数据计算服务TencentDB for Apache Hadoop：https://cloud.tencent.com/product/hadoop
- 腾讯云大数据计算服务TencentDB for Apache Spark：https://cloud.tencent.com/product/spark
相关·内容
我在Windows中运行Spark独立作业。我想使用Spark历史服务器监控我的spark作业。我已经用下面的命令启动了spark历史服务器，历史服务器启动成功。
C:\Users\Documents\Prev_D_Folder\Softwares\Softwares\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer
我在本地运行了spark作
浏览 2提问于2019-05-02得票数 1
正在尝试对dataproc运行spark作业。但这项工作甚至未能初始化spark context。 当使用yarn-client作为主机创建spark context时，我得到以下错误： SparkSession sparkSession = SparkSession.builder()
.appName("Sample App")
.master("yarn-client")
.getOrCreate(); ERROR org.apache.spa
浏览 234提问于2021-07-15得票数 2
3回答
我试图在spark中运行简单的字数统计作业，但在运行作业时出现异常。
For more detailed output, check application tracking page:http://quickstart.cloudera:8088/proxy/application_1446699275562_0006/Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1446699275562_0006
浏览 0提问于2015-11-07得票数 4
我在一个有三个服务器的小型Amazon EMR 5 (Spark 2.0)集群上运行Spark作业。我的作业运行了一个小时左右，失败了，错误如下。我可以手动重新启动，它可以工作，处理更多的数据，最终再次失败。
我的Spark代码相当简单，没有直接使用任何亚马逊或S3 API。我的Spark代码将S3文本字符串路径传递给Spark，而Spark在内部使用S3。
我的Spark程序只是在循环中执行以下操作:从S3加载数据，->进程->将数据写入S3上的不同位置。
我的第一个怀疑是，某些Amazon或Spark内部代码没有正确处理连接，连接池变得耗尽。
com.amazon.ws.emr
浏览 5提问于2016-08-28得票数 17
我最近遇到了Apache Mesos，并成功地在Mesos上部署了我的Storm拓扑。
我想尝试在Apache Marathon上运行Storm拓扑/Hadoop作业(使用mesos-storm框架直接在Apache Mesos上运行Storm有问题)。
我找不到任何教程/文章可以列出如何从Apache Marathon启动Hadoop/Spark任务的步骤。
如果任何人能提供关于这个主题的任何帮助或信息(可能是启动storm/hadoop作业的Marathon的Json作业定义)，那就太好了。
非常感谢
浏览 2提问于2014-12-08得票数 2
我在重新平衡YARN 队列上的Apache Spark作业资源时遇到了问题。
对于测试，我将Hadoop2.6(也尝试了2.7 )配置为在伪分布式模式下运行，并在MacOS上使用本地HDFS。对于作业提交，使用了来自的"Pre-build Spark1.4for Hadoop2.6和更高版本“(也尝试了1.5 )发行版。
当使用Hadoop MapReduce作业的基本配置进行测试时，公平调度器按预期工作:当集群的资源超过某个最大值时，将计算公平份额，并根据这些计算抢占和平衡不同队列中作业的资源。
对Spark作业运行相同的测试，在这种情况下，YARN对每个作业的公平份额进行了正确的计
浏览 70提问于2015-10-12得票数 20
1回答
我正在尝试以纱线客户端模式向oozie提交一个spark作业。当我在oozie之外运行spark作业时，它运行得很好。但当我提交oozie作业时，它总是失败，并显示以下错误：
Exception in thread "main" java.lang.IllegalStateException: basedir job.jar/lib does not exist.
at org.apache.tools.ant.DirectoryScanner.scan(DirectoryScanner.java:871)
at org.apache.spark.classpa
浏览 12提问于2018-07-26得票数 2
回答已采纳
2回答
我正在尝试从S3作业中访问SparkSQL文件。我已经尝试了几个帖子的解决方案，但似乎没有任何效果。也许是因为我的EC2集群为Hadoop2.7运行了新的Spark2.0。
我以这种方式设置hadoop：
sc.hadoopConfiguration.set("fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")
sc.hadoopConfiguration.set("fs.s3a.awsAccessKeyId", accessKey)
sc.hadoopConfiguration.set(
浏览 3提问于2016-09-20得票数 7
回答已采纳
1回答
我正在hadoop yarn上运行spark作业(hadoop 2.7.0，但也尝试了2.4.0，都是在我的机器上使用apache-hadoop网站和spark 1.3.1下载的)。我的spark作业是用scala编写的，但包含用jdk8编译的类。
当我在jdk8上运行hadoop时，我得到
INFO yarn.Client:
client token: N/A
diagnostics: Shutdown hook called before final status was reported.
ApplicationMaster host: kostas-pc
Applicatio
浏览 0提问于2015-05-13得票数 1
我有一个由5个节点组成的spark集群，我有一个用Java语言编写的spark作业，它从一个目录中读取一组文件并将内容发送到Kafka。
当我在本地测试这项工作时，一切都运行良好。
当我尝试将作业提交到群集时，作业失败并显示FileNoTFoundException
需要处理的文件存在于所有5个节点上挂载的目录中，因此我确信文件路径会出现在exception exists中。
以下是提交作业时出现的异常
java.io.FileNotFoundException: File file:/home/me/shared/input_1.txt does not exist
at org.a
浏览 1提问于2016-11-01得票数 2
我在Apache Spark中以本地模式运行一个作业，该作业将其结果保存到s3a文件系统。因为Hadoop2.6没有s3a://实现(或者s3://，s3n://)。我打包了一个包含hadoop-aws 2.6.0所有可传递依赖的uber jar，并将其与我的主作业的jar一起提交。
然而，当我用以下简约的代码测试它时：
sc.parallelize(1 to 100).saveAsTextFile("s3a://***/test10/")
在我的第一次运行中，编译器给了我这个错误：
java.lang.NoClassDefFoundError: org/apache/comm
浏览 0提问于2015-05-25得票数 4
我想分享我最近发现的一个有趣的错误：
Exception in thread "main" java.lang.NoSuchFieldError: TOKEN_KIND
at org.apache.hadoop.crypto.key.kms.KMSClientProvider$KMSTokenRenewer.handleKind(KMSClientProvider.java:166)
at org.apache.hadoop.security.token.Token.getRenewer(Token.java:351)
at org.apache.hadoop.security
浏览 54提问于2020-06-02得票数 0
回答已采纳
我们正在针对我们的Kubernetes集群运行一个Spark作业，并尝试将模型记录到MLflow。我们运行的是Spark3.2.1和MLflow 1.26.1，我们使用以下jars与s3、hadoop-aws-3.2.2.jar和aws-java-sdk-bundle-1.11.375.jar进行通信，并使用以下参数配置火花提交作业：
--conf spark.hadoop.fs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider \
--conf spark.hadoop
浏览 6提问于2022-06-24得票数 1
回答已采纳
我提交给spark cluster的作业还没有完成。我看到它永远挂起，然而日志显示甚至spark jetty连接器也被关闭了：
17/05/23 11:53:39 INFO org.spark_project.jetty.server.ServerConnector: Stopped ServerConnector@4f67e3df{HTTP/1.1}{0.0.0.0:4041}
我在yarn上运行最新的cloud dataproc v1.1 (spark 2.0.2)。我通过gcloud api提交spark作业：
gcloud dataproc jobs submit spark --pr
浏览 0提问于2017-05-24得票数 2
我想在本地运行一个PySpark作业，使用特定版本的Hadoop (假设Hadoop-AWS2.8.5)，因为有一些特性。
PySpark版本似乎与Spark版本相一致。
这里我使用的是PySpark 2.4.5，它似乎包装了一个Spark2.4.5。
使用PySpark选项spark-submit --local[4] ...提交spark-submit --local[4] ...作业时，遇到以下错误：
py4j.protocol.Py4JJavaError: An error occurred while calling o32.sql
除了以下java例外：
java.lang.NoC
浏览 7提问于2020-03-21得票数 2
回答已采纳
我的spark工作是从kafka中读取并解码信息。我的spark作业在MAC上的本地spark集群(https://archive.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz)上运行良好。但是在k8s和openstack上对spark (2.2.1-hadoop-2.7，来自https://hub.docker.com/r/gettyimages/spark/tags)集群运行作业时，我得到了以下错误： Caused by: org.apache.avro.SchemaParseException: Unde
浏览 42提问于2019-01-04得票数 1
回答已采纳
我们有一个AWS EMR集群，在这里我们运行一些火花作业。作业是从EC2实例的停靠器容器提交的。所有运行的容器都会在错误下面发出作业投诉。我已经尝试添加LD_LIBRARY_PATH到火花-env和纱-env，但错误仍然弹出。由于这个问题，我们无法阅读任何CSV。
2022-03-31 11:57:48,605 ERROR lzo.GPLNativeCodeLoader: Could not load native gpl library
java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path
at
浏览 19提问于2022-03-31得票数 0
回答已采纳
1回答
我正在尝试向Azure-Kubernetes- Gen2 (AKS)提交一个ADLS服务上的Pyspark作业，并得到以下异常：
Exception in thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration
浏览 31提问于2021-06-02得票数 0
回答已采纳
1回答
我在Azure HDInsight中运行了一个spark作业，它对数据(驻留在ADLS中)进行一些转换，最后将分区的数据写回Azure data lake Store。在处理spark作业时，创建一个包含许多名为"_temporary“的子文件夹的文件夹，我猜是为了同时计算结果。最后，spark作业将删除此临时文件夹。在某些情况下，此删除操作会失败。 当它失败时，会出现以下异常： ERROR FileFormatWriter: Aborting job null.
com.microsoft.azure.datalake.store.ADLException: Err
浏览 64提问于2019-05-21得票数 1
1回答
我试图使用纱线REST提交火花提交作业，我通常通过命令行运行这些作业。
我的命令行星火提交如下所示
JAVA_HOME=/usr/local/java7/ HADOOP_CONF_DIR=/etc/hadoop/conf /usr/local/spark-1.5/bin/spark-submit \
--driver-class-path "/etc/hadoop/conf" \
--class MySparkJob \
--master yarn-cluster \
--conf "spark.executor.extraClassPath=/usr/local/ha
浏览 5提问于2016-01-12得票数 5
我们使用Spark读取器读取CSV文件以转换为DataFrame，并且在yarn-client上运行作业，它在本地模式下运行良好。
我们正在提交edge node中的火花作业。
但是，当我们将文件放在本地文件路径而不是HDFS中时，我们将得到文件没有找到异常。
代码：
sqlContext.read.format("com.databricks.spark.csv")
.option("header", "true").option("inferSchema", "true")
.load(
浏览 6提问于2016-12-24得票数 1
我试图运行一个火花作业，当我试图启动驱动程序时，我会遇到这个错误：
16/05/17 14:21:42 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/var/lib/mesos/slave/slaves/0c080f97-9ef5-48a6-9e11-cf556dfab9e3-S1/frameworks/5c37bb33-20a8-4c64-8371-416312d810da-0002/executors/driver-2016051714
浏览 3提问于2016-05-17得票数 1
回答已采纳
1回答
下面的代码构建为jar，并通过putty使用sparkSubmit命令执行。它工作得很好。
var conf = new SparkConf().setAppName("ABC")
val sc = new SparkContext(conf)
var hiveContext = new HiveContext(sc)
import sqlContext.implicits._
sqlContext.sql("query")
但是当我通过SparkLauncher运行相同的代码时，它抛出了下面的错误，Master - Yarn-Cluster Spar
浏览 6提问于2017-02-21得票数 1
在使用以下命令运行CDH 5集群上的kafka时，我遇到了问题：
spark-submit --master yarn --deploy-mode client
--class org.apache.spark.examples.streaming.KafkaWordCount
/usr/lib/spark/examples/lib/spark-examples-1.6.0-cdh5.7.0-hadoop2.6.0-cdh5.7.0.jar
zk1,zk2,zk3 group topic 1
请注意，实际作业必须在客户端模式下运行，因此需要进行部署模式设置。执行上述命令将导致以下异常(驱
浏览 3提问于2016-04-14得票数 2
回答已采纳
我正在尝试将一个拼花文件写入HDFS，然后将其复制到s3。
我用齐柏林飞艇( Zeppelin )编写了代码，效果很好。没有任何问题，它将文件添加到s3文件路径。
var outputFolder = "buckent_name/path"
println("\n ---- TASK 1 ----- \n writing with path " + outputFolder)
wholeParquetFile
.withColumn("date_col", to_date(col("timestamp"), &
浏览 11提问于2022-05-17得票数 -1
回答已采纳
我正在尝试使用oozie来调用spark作业。使用spark -submit可以在没有oozie的情况下成功运行spark作业：
spark-submit --class xxx --master yarn-cluster --files xxx/hive-site.xml --jars xxx/datanucleus-api-jdo-3.2.6.jar,xxx/datanucleus-rdbms-3.2.9.jar,xxx/datanucleus-core-3.2.10.jar xxx.jar
但是，当我尝试使用oozie调用作业时，它总是失败，并显示以下错误。我在workflow.xml中
浏览 1提问于2016-05-13得票数 1
2回答
我有一个光秃秃的Oozie协调员，负责这个规范：
<coordinator-app name="my-coord" frequency="${coord:days(1)}"
start="${startDate}" end="${endDate}" timezone="UTC"
xmlns="uri:oozie:coordinator:0.4">
<controls>
<time
浏览 0提问于2019-01-16得票数 0
回答已采纳
1回答
火花安装
、
我已经使用命令java -version安装并检查了它，该命令提供了以下输出：
openjdk版本"1.8.0_162“ OpenJDK运行时环境(构建 OpenJDK 64位服务器VM (build 25.162-b12，混合模式))
之后，我下载了spark 2.3.0并尝试安装它。在最后一步中，当我试图在该位置运行命令时：
$SPARK_PATH sbin/start-all.sh
产出如下：
启动org.apache.spark.deploy.master.Master，登录到/usr/lib/spark/spark-2.3.0-bin-hadoop2.7/logs/spark
浏览 0提问于2018-04-07得票数 1
我有一种情况，如果某个条件不满足，那么就不需要在类内创建spark会话，应用程序就会带着消息退出。
我正在以“纱线集群”模式提交作业，如下所示
spark2-submit --class com.test.TestSpark --master yarn --deploy-mode client /home/test.jar false
作业的最终状态为"failed"。
但如果在"yarn-client“模式下运行spark作业，则spark作业将成功完成。
代码如下：
package com.test;
import org.apache.spark.sql.Spa
浏览 0提问于2018-05-09得票数 0
我尝试在上针对Apache Hadoop basic集群的BigInsights执行。
workflow.xml如下所示：
<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkWordCount'>
<start to='spark-node' />
<action name='spark-node'>
<spark xmlns="uri:oozie:spark-action:0.1">
浏览 8提问于2016-08-11得票数 1
回答已采纳
1回答
我目前正在学习如何使用Apache运行CDH 5.8中的Spark，但似乎发现了一些问题。
我正在使用IntelliJ > Build (进入优步JAR / Fat JAR)编译我的spark作业，然后删除它的清单文件。然后我运行火花-提交运行罐子。效果很好。
但是当我和Oozie指定火种行动的时候。我得到以下错误：
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], exception invoking main(), java.lang.ClassNotFoundExceptio
浏览 0提问于2016-09-16得票数 0
回答已采纳
这是我的代码：
val bg = imageBundleRDD.first() //bg:[Text, BundleWritable]
val res= imageBundleRDD.map(data => {
val desBundle = colorToGray(bg._2) //lineA:NotSerializableException: org.apache.hadoop.io.Text
//val desBundle =
浏览 2提问于2014-01-12得票数 1
在Spark SBT项目中，我使用直接访问s3上的数据。但是，我得到了org.apache.spark#hadoop-cloud_2.12;3.1.2: not found。文档提到了provided作用域，但由于此作业是在本地运行的，因此没有JDK/应用程序容器提供任何内容。在Maven Central上，我看到不同的供应商发布了各自的版本方案，但是没有一个与我的Spark版本3.1.2相匹配
以下是我的相关依赖项：
// Version.spark is 3.1.2
val spark = Seq(
"org.apache.spark" %% "
浏览 59提问于2021-06-01得票数 2
1回答
我正在构建一个非常简单的HelloWorld星火作业，在Java中使用Gradle：
package com.example;
public class HelloWorld {
public static void main(String[] args) {
System.out.println("Hello World!");
}
}
我的gradle配置非常简单：
def sparkVersion = "2.4.6"
def hadoopVersion = "2.7.3"
dependencies {
浏览 1提问于2020-09-21得票数 0
回答已采纳
我正在尝试从jupyterhub对使用IRSA的eks集群运行spark，我遵循了AWS EKS Spark 3.0, Hadoop 3.2 Error - NoClassDefFoundError: com/amazonaws/services/s3/model/MultiObjectDeleteException和https://medium.com/swlh/how-to-perform-a-spark-submit-to-amazon-eks-cluster-with-irsa-50af9b26cae中提供的示例，以获得代码和IRSA角色示例。但是，我得到一个无法通过区域提供商链找到
浏览 27提问于2021-01-08得票数 1
回答已采纳
1回答
我正在测试env上运行火花结构化流。有时，找不到某个检查点文件的作业失败。
其中一个原因可能是卡夫卡的主题保留时间很短。但我已经将.option("failOnDataLoss", "false")添加到SparkSession中了。
我对火花检查点有一些基本的(非常基本的)理解。如果删除检查点dir，我认为应该恢复它。但是，正如我测试的那样，一旦发生了这个错误，删除dir就没有帮助了。我需要使用不同的检查点dir来修复它。
为什么删除检查点dir不起作用？或者是否有一种方法/选项可以帮助避免此错误？
diagnostics: User class t
浏览 0提问于2018-02-02得票数 8
我正在使用带有pySpark的AWS Glue，并希望在sparkSession中添加一些配置，例如'"spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem"、spark.hadoop.fs.s3a.multiobjectdelete.enable","false"、"spark.serializer", "org.apache.spark.serializer.KryoSerializer"、"spark.h
浏览 45提问于2020-10-14得票数 2
1回答
我正在CentOS 7下的Hadoop上运行apache，我已经成功地安装了所有的东西(包括JAVA、hadoop、Spark)，并且通过控制台没有问题地运行spark作业。现在，我想在tomcat中调用java中的星火作业，并使用下面的代码启动spark应用程序
SparkLauncher spark = new SparkLauncher();
spark.setAppResource("/usr/spark/spark-2.1.0-bin-without-hadoop/examples/jars/org.jar");
spark.setMainClass("org
浏览 1提问于2017-04-21得票数 0
我正在Glue Crawler生成的CSV数据表上运行Glue ETL作业。Crawler命中具有以下结构的目录 s3
-> aggregated output
->datafile1.csv
->datafile2.csv
->datafile3.csv 这些文件被聚合到一个“聚合输出”表中，可以在athena中成功地进行查询。 我正在尝试使用AWS Glue ETL作业将其转换为拼图文件。作业失败，原因是 "py4j.protocol.Py4JJavaError: An error occu
浏览 46提问于2019-05-13得票数 2
回答已采纳
我们正在使用和运行一些dataproc作业。
我们有两个集群，下面是一些细节：
集群A ->运行PySpark流作业，最后创建2016. Jul 15. 11:27:12 AEST
集群B ->运行PySpark批处理作业，每次作业运行后都会创建集群。
A&B运行相同的代码库，使用相同的init脚本，相同的节点类型等。
从上周五的某个时候(2016-08-05 AEST)开始，我们的代码停止了对集群B的处理，出现了以下错误，而集群A运行时没有出现问题。
以下代码可以在集群B(或任何具有图像v1.0.0的新集群)上重现问题，同时在集群A上运行精细。
样本
浏览 2提问于2016-08-08得票数 1
回答已采纳
/var/lib/spark-2.3.4-bin-hadoop2.7/bin/spark-submit --master spark://myhost:6066 --conf spark.hadoop.fs.s3a.access.key='redact1' --conf spark.executorEnv.AWS_ACCESS_KEY_ID='redact1' --conf spark.driverEnv.AWS_ACCESS_KEY_ID='redact1' --conf spark.hadoop.fs.s3a.secret.key='
浏览 4提问于2021-07-01得票数 0
我在DC/OS上有一个火花集群，我正在运行一个从S3读取的星火作业。这些版本如下：
火花2.3.1
Hadoop 2.7
AWS连接的依赖关系："org.apache.hadoop“%”hadoop“%”3.0.0-alpha2 2“
我通过以下操作阅读了这些数据：
`val hadoopConf = sparkSession.sparkContext.hadoopConfiguration
hadoopConf.set("fs.s3a.endpoint", Config.awsEndpoint)
hadoopConf.set(
浏览 3提问于2018-07-25得票数 8
4回答
我正在运行一个Spark作业(版本1.2.0)，输入是Google Clous存储桶(即gs://mybucket/文件夹)中的一个文件夹。
当在我的Mac机器上本地运行作业时，我会得到以下错误：
5932主要错误com.doit.customer.dataconverter.Phase1 -日期作业: 2014_09_23失败，错误:无FileSystem表示方案: gs
我知道，为了支持gs路径，需要做两件事。一个是安装GCS连接器，另一个是在Hadoop安装的core-site.xml中安装以下设置：
<property>
<name>fs.gs.
浏览 6提问于2015-01-05得票数 13
1回答
由于以下错误，我在通过spark-submit运行spark作业时遇到问题：
16/11/16 11:41:12 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.String, java.util.Map, boolean, int, boolean, boolean
浏览 6提问于2016-11-17得票数 0
我们有一个在本地独立模式下运行良好的spark作业。我们已将其提交到aws EMR-5.0 (spark 2.0，hadoop 2.7.2)，并收到以下错误：
java.io.FileNotFoundException: File does not exist: hdfs://ip.us-west-2.compute.internal:8020/user/hadoop/.sparkStaging/application_1470941709244_0001/__spark_libs__3533384422462530422.zip
at org.apache.hadoop.hdfs.D
浏览 1提问于2016-08-16得票数 3
我得到了这个奇怪的例外。我在Hadoop2.6.4上使用了Spark1.6.0，并在纱线集群上提交了Spark作业。
16/07/23 20:05:21 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block BP-532134798-128.110.152.143-1469321545728:blk_1073741865_1041
java.io.EOFException: Premature EOF: no length prefix available
at org.apache.ha
浏览 1提问于2016-07-24得票数 8
我正在使用Apache spark 3.0进行开发。我正在从txt文件中读取数据，并在生成rdd之后将其转换为dataframe。我的数据量很大，所以我从dataframe中提取了100个值，并使用模式生成了新的dataframe。在我尝试将这个文件写成csv文件后，我得到了下面的错误。另外，我还在dataframe中填充了null值。仍然没有任何解决方案。请帮我解决这个问题。我在互联网上尝试了所有的解决方案，但仍然不知道该怎么做。我不想在这里使用databrick。 我的架构如下： 根部 |-- A1:字符串(nullable = true) |-- A2:字符串(nullable =
浏览 22提问于2020-10-01得票数 0
我正试图在pyspark程序下面运行，该程序将从HDFS集群复制文件。
import pyspark
from pyspark import SparkConf
from pyspark.sql import SparkSession
def read_file(spark):
try:
csv_data = spark.read.csv('hdfs://hostname:port/user/devuser/example.csv')
csv_data.write.format('csv').save('/tmp
浏览 8提问于2020-07-17得票数 0
1回答
我试图让Spark在运行在Kubernetes上的集群上运行，我希望日志被写入minIO。我还使用minIO存储我的火花提交作业的输入和输出，它已经在工作了。
简单地工作火花提交作业
我的工作火花提交工作如下所示：
spark-submit \
--conf spark.hadoop.fs.s3a.access.key=XXXX \
--conf spark.hadoop.fs.s3a.secret.key=XXXX \
--conf spark.hadoop.fs.s3a.endpoint=https://someIpv4 \
--conf spark.hadoop.fs.s
浏览 2提问于2021-09-15得票数 1
回答已采纳
1回答
星火结构流蓝/绿部署
、、、、
我们希望能够部署我们的星火作业，这样在部署期间处理数据就不会有任何停机时间(目前大约有2-3分钟的窗口)。在我看来，最简单的方法就是模拟“蓝色/绿色部署”理念，那就是旋转星火作业的新版本，让它热身，然后关闭旧作业。但是，使用结构化流和检查点，我们不能这样做，因为新的Spark作业看到最新的检查点文件已经存在(从旧作业)。我在下面附上了一个样本错误。有没有人对潜在的解决办法有任何想法？
我考虑过将现有的检查点目录复制到新创建的作业的另一个检查点目录中--尽管这应该是一种解决办法(一些数据可能会被重新处理，但我们的DB应该去复制)，但这似乎非常麻烦，而且是我不想追求的。
Caused by: or
浏览 0提问于2018-04-04得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
