无法在DCOS上安装apache spark
DC/OS（Datacenter Operating System）是一种开源的分布式操作系统，用于管理和部署大规模的容器化应用程序。它提供了一种简化的方式来管理和编排容器、服务和应用程序。
Apache Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。Spark可以在分布式环境中运行，并且具有高度可扩展性和容错性。
在DC/OS上安装Apache Spark可以提供强大的大数据处理能力，并且能够充分利用DC/OS的资源管理和调度功能。
然而，由于DC/OS是一个开源项目，它的生态系统和支持的软件包可能有限。目前，DC/OS官方并没有提供直接安装Apache Spark的方法或支持。但是，可以通过以下步骤在DC/OS上安装和运行Apache Spark：
- 首先，确保你已经在DC/OS集群中安装了Mesos和Marathon。这两个组件是DC/OS的核心组件，用于资源管理和应用程序调度。
- 下载Apache Spark的二进制文件，并将其上传到DC/OS集群中的一个可访问的位置。
- 创建一个Marathon应用程序定义文件，指定要在DC/OS上运行的Apache Spark的配置和参数。在这个文件中，你需要指定Spark的主节点和工作节点的数量、内存和CPU资源的分配等。
- 使用Marathon API或DC/OS的Web界面，将应用程序定义文件提交给Marathon进行部署。
- 等待Marathon将Apache Spark应用程序部署到DC/OS集群中，并监控应用程序的状态。
需要注意的是，由于DC/OS并没有官方支持的Apache Spark安装方法，因此在安装和配置过程中可能会遇到一些挑战和问题。你可能需要自行解决这些问题，或者参考DC/OS社区中其他用户的经验和解决方案。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云对象存储（Tencent Cloud Object Storage，COS）：https://cloud.tencent.com/product/cos
- 腾讯云人工智能（Tencent AI）：https://cloud.tencent.com/product/ai
相关·内容
我在OpenStack上安装了DC/OS版本1.9.2。我尝试在DC/OS上安装apache spark。dcos package install sparkInstallingCLI subcommand for package [spa
浏览 8提问于2017-07-28得票数 1
我一直在开发火花放电与火花独立的非集群模式。现在，我想进一步探讨星星星火的集群模式。我在互联网上搜索，发现我可能需要一个集群管理器在不同的机器上运行集群，使用Apache或Spark独立。
浏览 3提问于2017-06-08得票数 5
回答已采纳
我在AWS上运行了一个Mesos集群，通过dcos package install spark命令安装了Spark。我能够使用DCOS：dcos spark run ...成功地执行星火作业
现在，我想从运行在Mesos集群中的Docker容器中执行spark作业，但我不太确定如何到达Spark的运行实例。这样做的想法是让一个码头容器执行spark-submit命令，向Sp
浏览 5提问于2016-08-16得票数 1
1回答
DCOS簇尺度
、、、
我有一个包含3个代理节点的DCOS集群；我几乎没有像spark这样运行在DCOS上的服务。如果我缩放我的DCOS集群，我是否也需要扩展我的spark (因为如果我在DCOS集群中添加了一个第4个节点，并且当我运行一个spark作业时，主人可以为在没有安装spark的第4个节点上运行的spark在我的观察中，我发现这些作业被提交到
浏览 4提问于2017-02-13得票数 0
回答已采纳
我们有一个现有的Apache Mesos集群，并希望以其闪亮的新开源形式尝试DCOS。然而，对DCOS进行破坏性的重新安装将是痛苦的。那么，是否可以在现有的Mesos安装上‘覆盖’DCOS呢？DCOS安装指南中的任何步骤是否会改变，或者安装程序是否可以检测到现有的Mesos并在其上安装DCOS组件？
浏览 2提问于2016-04-21得票数 3
有人知道如何安装软件包cli命令，例如，在通过DCOS web接口安装包本身之后，如何安装"dcos spark“？谢谢。
浏览 3提问于2016-05-19得票数 1
回答已采纳
我们把EBS附在我们的DCOS机器上，这些机器用作DCOS代理机。但是，当创建DCOS集群时，安装的EBS存储不会用于DCOS磁盘容量。我检查了这个链接：。但这似乎解决不了我的目的。
浏览 2提问于2017-01-05得票数 0
回答已采纳
1回答
在Centos上运行DCOS 1.8。我安装的命令行界面如下：./dcos package install sparkadmin@ip-172-16-6-6.localdomain'sdcoscli/util.py", line 21, in wrap
浏览 2提问于2016-10-10得票数 2
1回答
我安装了一个新的DCOS集群，版本1.11.3，其中包括3个主服务器和3个从服务器，我可以在DCOS仪表板上看到它们。我还没有安装任何服务(Cassandra，Kafka或Spark)，但它至少应该显示Metrics！需要补充的是:我没有任何失败的服务，而且指标服务在所有节点上都是正常的： [id@cluster ~]$ sudo systemctl | grep dcos | grep metric
dcos-
浏览 11提问于2019-01-18得票数 0
我在本地安装了dcos，并在dcos上安装了marathon-lb。安装已完成，但dcos无法完成marathon-lb部署。它仍然在等待或延迟。
浏览 0提问于2017-09-11得票数 0
2回答
我试图通过在我的Mac上安装DC/OS集群。但是当我打开http://m1.dcos/时，不显示web，显示ERR_EMPTY_RESPONSE错误，并且找不到dcos命令。net::ERR_EMPTY_RESPONSE
➜ dcos-vagrant git:(master) dcos marathon app add https://<e
浏览 4提问于2016-05-07得票数 1
回答已采纳
1回答
我已经安装了DCOS集群，在安装spark时，我提供了hdfs-site.xml和core-site.xml外部集群的详细信息，我试图使用spark访问这些集群。配置了/etc/host文件的DCOS集群的HDFS详细信息，我正在尝试运行我的火花作业在帮助下DCOS命令
dcos火花运行-提交-args=‘-dspak.mesos.粗=真-驱动程序-核心1-驱动程序at org.apache.<e
浏览 0提问于2018-02-22得票数 0
在通过马拉松的每个从节点上，我们运行Mesos外部Shu浮服务。当我们在粗粒度模式下通过dcos CLI提交spark作业时，没有动态分配，一切都按预期工作。Mesos (DCOS)。通过我们安装的宇宙软件包:卡桑德拉，火花和马拉松-lb。
.{S
浏览 5提问于2016-12-09得票数 1
回答已采纳
我正试图在我的iMac上安装apache，使用这2页上的说明：
酿制木桶安装java
brew安装java
火花弹外壳：
/usr/local/Cellar/
浏览 1提问于2021-01-18得票数 0
我试图在本地运行一个spark-submit，并将ssh隧道传输到我的mesos主程序：但是，我得到了以下错误 at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.sc
浏览 0提问于2018-11-14得票数 1
回答已采纳
我正在尝试使用dcos package install cassandra在Mesos上安装Cassandra，但是我得到了这个错误消息：
The Apache Cassandra DCOS Service
浏览 0提问于2015-11-20得票数 2
我已经构建了一个DCOS本地宇宙，并将其安装到防火墙后面的集群中-没有对该集群的互联网访问。在宇宙中安装的包之一是Flink。我使用指向本地Docker注册表的cluster_docker_registry_url变量安装了DCOS，该注册表上只有很少的包；它不是主Docker Hub的镜像。当我尝试将Flink包安装到DCOS中时，我在Mesos日志中得到了404个错误，这些错误与我假设该包试图从本地docker注
浏览 1提问于2017-05-04得票数 1
我在DCOS集群上以集群/rest模式运行一个spark-submit： at org.apache.spark.SparkContext.java.net.UnknownHostException: hdfs我已
浏览 1提问于2018-11-14得票数 0
2回答
例如，我的星火集群有100个节点(工人)，当我运行一个作业时，我只想在大约10个特定的节点上运行它，我应该如何实现这一点。顺便说一句，我用的是星火独立模块。为什么我需要上面的要求：permitted to access
浏览 7提问于2016-05-29得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
