Spark Kafka流作业在DC/OS (Mesos)中部署时未发现协调器
Spark Kafka流作业在DC/OS (Mesos)中部署时未发现协调器，可能是由于以下原因导致的：
- 协调器未正确配置：在DC/OS中部署Spark Kafka流作业时，需要正确配置协调器。协调器负责管理和调度任务，如果未正确配置协调器，作业将无法找到可用的资源进行部署。
- 资源不足：如果DC/OS集群中的资源不足，作业可能无法找到足够的资源进行部署。这可能是由于集群规模过小或者其他任务占用了大量资源导致的。
- 网络问题：如果DC/OS集群中的网络存在问题，作业可能无法与协调器进行通信，导致无法找到协调器。这可能是由于网络配置错误、防火墙设置或者其他网络故障导致的。
为解决这个问题，可以采取以下步骤：
- 检查协调器配置：确保在DC/OS中正确配置了协调器。可以参考DC/OS官方文档或者相关教程进行配置。
- 扩展资源：如果资源不足，可以考虑扩展DC/OS集群的规模，增加可用资源。可以通过添加更多的节点或者调整资源分配策略来实现。
- 检查网络设置：确保DC/OS集群中的网络配置正确，并且没有阻止作业与协调器进行通信的防火墙设置。可以与网络管理员协商解决网络问题。
对于Spark Kafka流作业在DC/OS中部署时未发现协调器的问题，腾讯云提供了一系列相关产品和解决方案，例如腾讯云容器服务TKE和腾讯云弹性MapReduce（EMR）。这些产品可以帮助用户快速搭建和管理DC/OS集群，并提供协调器和资源管理功能，以便更好地部署和运行Spark Kafka流作业。
更多关于腾讯云容器服务TKE的信息，请访问：腾讯云容器服务TKE
更多关于腾讯云弹性MapReduce（EMR）的信息，请访问：腾讯云弹性MapReduce（EMR）
相关·内容
我按照上的指令在java中实现了一个spark流作业。当Kafka和Cassandra服务器独立时，它可以完美地工作。: cb8625948210849f
18/02/04 20:40:35 INFO AbstractCoordinator: Discovered coordinator spark-vm:9092当我在mesos集群中部署时出现问题，因为<em
浏览 10提问于2018-02-06得票数 1
回答已采纳
在使用Spark Structured Streaming和Kinesis Streams时，我在重新处理流中积累的数据时遇到了读取不平衡的情况(而不是从最新数据读取)。下图显示了作为流的一部分的运动碎片的读取速度的差异。这使得spark作业丢弃了许多事件，因为事件时间非常不同的事件会被混淆，而那些被认为是旧的事件会被丢弃。这就是Apache Flink的kinesis连接器在<
浏览 1提问于2021-07-04得票数 1
1回答
我的应用程序需要将许多容器作为工作节点运行(以执行各种批处理任务)，而且我对保持web服务器或数据库并不感兴趣--只是需要1秒到1小时的短任务。我的想法是在节点云中工作，而不必担心这些节点中的哪台机器有可用的资源来处理我的工作(mesos非常擅长这一点--正如广告所示)。我现在正在使用DC/OS，我想知道其他集群技术是否提供了这样的特性：given I need 1CPU, 2GB RAM and 2GB of disk - run X docker container我喜欢<
浏览 6提问于2016-12-20得票数 7
回答已采纳
我编写了Kafka流应用程序，我想将它部署到Kafka集群上。，我构建了一个jar文件并使用以下命令运行它：它运行正常，但作业运行在我在命令上运行的机器上！我想当我指定BOOT
浏览 1提问于2017-12-01得票数 5
回答已采纳
1回答
我们需要构建一个3到5个节点的卡夫卡生产集群，码头容器中的Kafka (Kafka集群包括每个节点上的动物园管理员和模式注册表) Kafka集群不使用停靠器(集群包括每个节点上的动物园管理员和模式注册表所以使用Docker的Kafka满足产品集群的要求吗？
更多信息-
浏览 5提问于2019-10-29得票数 2
回答已采纳
4回答
我最初的想法是获取数据，使用但我能穿过KStreams。现在我糊涂了！问题：
火花流和卡夫卡流有什么区别？我如何才能与KStreams +火花流+机器学习结合起来？我的想法是持续训练测试数据，而不是批量训练。
浏览 2提问于2016-12-14得票数 9
我一直听说，Spark是一个进行星火提交的客户端，但我从来不需要这样做，我所做的就是安装火花库，并在public static void main(String[] args)下初始化Spark上下文，.*;import org.apache.spark.SparkConf; public static void main(St
浏览 2提问于2016-09-22得票数 3
回答已采纳
1回答
我正在尝试部署一个带有Kafka和Spark的对接容器，并想从pyspark应用程序中读到Kafka主题。卡夫卡在工作，我可以写一个话题，火花也在起作用。但是当我试图读取Kafka流时，我会得到错误消息：而火花放电应用程序：
from py
浏览 30提问于2022-01-23得票数 1
回答已采纳
我有一个Spark作业，它读取一个源表，执行一些map / flatten / reduce操作，然后将结果存储到我们用于报告的单独的表中。目前，此作业是使用spark-submit脚本手动运行的。我希望将其安排为每晚运行，以便在一天开始时预先填充结果。我有没有：
设置了一个cron作业来调用spark-submit脚本-将计划添加到我的作业类中，以便它只提交一次，但每晚执行操作？在</e
浏览 52提问于2015-05-21得票数 36
回答已采纳
1回答
Mesos术语的困惑
、、、
我知道DCOS是一个生态系统，而Mesos就像一个内核。如果我错了，请纠正我。就像。我想这就像Ubuntu和Linux内核一样。
rails-app的类型应该是什么？是一项任务吗？那它还会有遗嘱执行人吗？当他使用马拉松增加流量时，
浏览 1提问于2016-04-16得票数 2
1回答
我想使用Kafka流，但也与外部数据库和API交互。我读到过有人建议使用Kafka Connect这样做，但我想知道怎么做和为什么。即使没有Kafka流，也可以查询数据库(即使它没有Kafka连接连接器)和每个记录的API吗？或者我应该为这个用例使用另一个处理引擎？
浏览 3提问于2022-01-15得票数 0
我有一个Kafka2.1消息代理，希望对Spark2.4中的消息数据进行一些处理。我想用齐柏林飞艇0.8.1笔记本进行快速原型。org.apache.spark.sql.AnalysisException:未能找到数据源: kafka。请按照“结构化流+ Kafka集成指南”的部署部分部署应用程序。)文件"“中，第6行，在文件"/usr/local/
浏览 1提问于2019-07-19得票数 5
回答已采纳
将外部包(jars)包含在火花放电外壳中的正确方法是什么？我想通过spark-sql-kafka库从卡夫卡中通过火花阅读，如下所述：。但
我不知道下载jar并指定本地路径是否更好(它们必须在jupyter运行的机器上，还是在纱线运行的机器上？)(如果我试图在pyspark-shell之前
浏览 0提问于2019-12-11得票数 0
5回答
我是Apache Spark的新手，我刚刚了解到Spark支持三种类型的集群：
我应该选择哪种集群类型？
浏览 5提问于2015-02-22得票数 87
回答已采纳
2回答
似乎无法安装Cassandra包，marathon get卡在部署阶段1/2，dcos Cassandra子命令发出以下堆栈跟踪，感谢任何帮助。
浏览 3提问于2016-04-25得票数 1
但是，在尝试部署时，我始终遇到以下异常：
org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching我能够使用Compute连接Kafka服务器的套接字，在与要部署的Dataflow作业相同的VPN子网中。编辑：--我现在能够成功地部署Dataflow作业了，但是它看起来好像读取功能
浏览 4提问于2020-04-23得票数 1
Cloudera Hadoop- Spark作业在此处运行2.Cloud - Cassandra集群，多个DC<code>A0</code>
在我的多租户spark集群中，对于具
浏览 25提问于2020-06-08得票数 1
回答已采纳
3回答
我读过几篇关于使用spark流媒体阅读kafka主题的文章，但我想知道是否可以使用spark作业而不是流媒体来阅读kafka？如果是，你们可以帮我指出一些文章或代码片段，可以帮助我入门吗？一旦我读了Kafka，我想我会有一个rdd。将这个rdd转换成一个dataframe，然后把dataframe写成一个parquet文件。这是正确的方法吗？谢谢
浏览 1提问于2017-08-23得票数 12
回答已采纳
星盘集群有三个节点(最小配置)数据生成器-> Kafka ->火花流->弹性搜索。问题是:当我在我的数据生成器上增加每秒产生的事件数量时，它超过了~1000个事件/s，我的星火作业中的输入速率突然崩溃，并开始发生很大的变化。问题是，在我的实验开始时
浏览 7提问于2016-07-25得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
