我有一个能够使用kubectl命令运行的spark-operator-k8s。但现在我想把它作为rabbitmq的消费者。此外，欢迎对这种方法提出建议，我想了解是否有更好的方法来实现这一点。
浏览 8提问于2020-03-23得票数 0
我会以承认轻度睡眠不足作为开场白。API端点(服务器A)接收传入呼叫，并将其添加到RabbitMQ服务器(服务器B)上的特定队列中。Laravel Installation (Server )是我们实际的Laravel，它的目的是在特定队列上查找作业，并与它们一起执行任务。我们在Laravel安装中有一个RabbitMQ包，它允许在RabbitMQ连接上使用常规的Laravel队列机制。我遇到的问题是，
浏览 2提问于2017-07-03得票数 2
回答已采纳
我需要触发Spark使用API调用从JSON文件聚合数据。我使用spring引导来创建资源。因此，解决方案的步骤如下：
使用指定的jars、类从REST方法中触发聚合spark作业，参数是json文件链接。我希望使用<
浏览 1提问于2016-02-24得票数 5
回答已采纳
1回答
我已经在EMR上运行了spark，并且我一直在尝试使用JDBC hive驱动程序从SQLWorkbench连接到spark-SQL，但都是徒劳的。我已经在EMR上启动了thrift服务器，并且能够从Tableau/SQL Workbench连接到端口10000(默认)上的Hive。当我试图运行一个查询时，它会触发一个Tez/Hive作业。但是，我想使用Spark运行查询。在电子病
浏览 1提问于2016-11-19得票数 1
我在GCP Dataproc上有一个可以在气流中触发的火花放电作业，如下所示： "properties": config["spark_properties"] },
浏览 13提问于2022-03-25得票数 4
回答已采纳
我在yarn上使用spark 1.0并使用Java API。JavaSparkContext( "MyJavaWordCount", System.getenv("SPARK_EXAMPLES_JAR"));
J
浏览 1提问于2014-06-28得票数 14
我试图通过spark-submit命令给我的Main函数一个参数，但当我尝试执行shell文件时，作业失败并返回错误：因为我在代码中使用了match-case。_2.11-0.1.jar \因此，'xyz‘是我在命令中传递的字符串。目前我已经硬编码了它，它仍然不能工作，我想把它作为参数动态地传递给shell文件。
浏览 1提问于2017-11-30得票数 2
2回答
我已经创建了spark应用程序，它从Apache flume获取输入数据。我将spark批处理间隔设置为4分钟，这样spark将每隔4分钟处理一次数据。但是我有一些昂贵的spark批处理，这需要相当多的时间(比如30分钟)，所以在这段时间内，大约7个spark批处理将在队列中等待，一旦昂贵的批处理执行完成，它将一个接一个地开始处理。如果我的spark批处理正在执行，并且耗时超过4分钟，我不想在队列中添加下一个spark批处理。
浏览 1提问于2019-09-28得票数 3
1回答
我使用AWS EMR进行spark流媒体。我在EMR中添加了一个从Kinesis流读取数据的步骤。我需要的是一种方法来停止这个步骤并添加一个新的步骤。现在，我从Spark驱动程序中产生一个线程，监听SQS队列中的消息，并在收到消息时调用sparkContext.stop()。我使用Chef来实现部署自动化。因此，当有新的工件时，一条消息被放入SQS，EMR读取它并停止该步骤。Chef然后</
浏览 10提问于2016-09-13得票数 1
我们希望使用Hue和Oozie，因为运行这些作业的人将更习惯使用基于浏览器的界面，而不是在Oozie XML配置中胡乱操作或在命令行上触发spark-submit。我已经知道如何通过Hue (3.10)运行一个基本的Oozie/Spark Action。但我们希望能够在运行时通过配置文件提供各种非Spark参数，就像您为普通Scala应用程序所做的那样。我尝试了各种不同的排列方式，例如在Hue中</
浏览 1提问于2017-02-06得票数 0
7回答
我有Spark streaming应用程序，它基本上从Kafka获得触发消息，这启动了批处理，这可能需要2个小时。有一些事件，其中一些作业无限期地挂起，并且没有在通常的时间内完成，目前我们无法在不手动检查Spark UI的情况下确定作业的状态。我想知道当前正在运行的spark作业是否挂起的方法。我知道我可以使用驱动程序和执行器的度量标准。如果我要选择最重要的一个，它将是最后收到的批处理记录。当为St
浏览 6提问于2018-10-18得票数 8
1回答
我正在AWS上的EMR集群中测试火花放电作业。目标是使用Lambda函数触发火花作业，但现在我正在手动运行火花作业。因此，我将SSH发送到主节点，然后运行spark作业，如下所示：我的桶参数传递给火花作业。hdfs://ip-xxx-x
浏览 4提问于2019-12-03得票数 0
1回答
从企业应用程序( Java或Scala)中按需启动星火作业的推荐方法是什么？有一个处理步骤，目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下：
参数将作为命令行参数传递给JAR。星火作业然后从数据库中获取源数据。问题1：如何在企业应用程序中按需启动火花作业？Spark集群(独立的)位
浏览 4提问于2016-08-06得票数 2
回答已采纳
我正在为一个应用程序构建一个聊天组件(其中所有讨论都被保存)，我计划有一个长轮询服务器作为客户端机器和rabbitmq服务器之间的接口，它将解析格式并将队列中的消息排入作业队列(在rabbitmq上)，由芹菜处理，然后将检查是否允许张贴，通过检查数据库中的一些信息等，将消息保存到数据库中，并再次将它们排入rabbitmq中，这一次将由长轮询服务器使用</e
浏览 1提问于2012-03-19得票数 0
回答已采纳
1回答
我需要开发一个事件驱动的管道，它应该在ADLS2文件到达时触发，即ABFS。在文件到达时，我需要触发集群上的4个后续Spark作业。对于编排Spark，我可以使用Databricks作业作为选项，这样就可以在管道中触发作业。
但是，只有在文件到达后才能触发第一个作业。一种解决方案可能是使用Az
浏览 9提问于2022-06-22得票数 -1
回答已采纳
1回答
我正在尝试在本地构建Apache Spark。这样做的原因是为了调试像reduce这样的Spark方法。特别是，我对Spark如何在幕后实现和分发Map Reduce很感兴趣，因为我遇到了性能问题，我认为从源代码运行这些任务是找出问题的最好方法。所以我从Spark repo克隆了最新的：Spark似乎是一个Maven项目
浏览 0提问于2014-05-26得票数 3
回答已采纳
我正在实现一个用于分布式cron作业执行的系统(称为cron计算集群)。当操作时间存在时，应将Cronjobs排队到消息队列(RabbitMQ)中。请参见下面的代码片段，用于在Perl守护进程工作程序中执行实际的cron作业。它是在‘AnyEvent->定时器’内实现的，而不是DoSing RabbitMQ用于消息。'RABBITMQ_ERROR', @_ ) },
)
浏览 2提问于2016-01-18得票数 3
回答已采纳
我一直试图在AWS EMR和Spark集群模式下运行一个Spark作业，没有任何设置的组合会导致作业最多使用总可用资源的几%。.load("input_file.csv")以下是所有节点的典型CPU使用率图表(主节点从20%开始，然后下降，其他节点都是从节点)：上
浏览 0提问于2018-04-07得票数 2
我试图使用Livy远程提交几个Spark作业。我用来做这个
我知道我可以使用spark-submit Livy 提供上述Livy命令中的所有选项。但是，由于我必须远程制作超过250个spark-submit，所以我想利用Livy的会话管理功能；也就是说，我希望Livy只创建一次SparkSession，然后将其用于所有spark-submit请求但是，在session中没有看到参数</
浏览 0提问于2018-08-08得票数 1
回答已采纳
1回答
上传完成后，web应用程序将此文件和目录放入HDFS，然后在kafka上发送带有此文件路径的消息。Spark应用程序从kafka streaming读取消息，在master(驱动程序)上收集它们，然后处理它们。我首先收集消息，因为我需要将代码移动到数据，而不是将数据移动到接收消息的位置。我理解spark将作业分配给已经在本地有文件执行程序。hadoop小文件中的其
浏览 0提问于2017-01-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
