如果我使用Kubernetes集群来运行星星之火，那么我将使用星火中的Kubernetes资源管理器。
如果我使用Hadoop集群运行spark，那么我将使用Spark中的Yarn资源管理器。但我的问题是，如果我在kebernetes中生成多个linux节点，并使用其中一个节点作为星星之火，使用另外三个节点作为工作人员，那么我应该使用哪个资源管理器呢？我能用那边的纱线吗？第二个问题，对于任何一个4节点的linux火花集群(不在kubernetes中，也不是hadoop，简单连接的linu
浏览 5提问于2021-02-14得票数 0
回答已采纳
5回答
我是Apache Spark的新手，我刚刚了解到Spark支持三种类型的集群：
我应该选择哪种集群类型？
浏览 5提问于2015-02-22得票数 87
回答已采纳
1回答
在我的GKE集群(Versionv1.21.10-gke.2000)中，我希望在日志资源管理器中看到pods/容器生成的输出为日志。到目前为止，我尝试过的是:在新创建的集群(Version1.22.8-gke.201)中的另一个(测试)项目中，这是正确工作的，即在日志资源管理器中也可以看到kubectl logs返回的内容。一开始提到的集群是很久以前创建的，显然需要进行一些更改--我如何才能知道需要修改哪些集群(或节点池)设置才能在日志资源管理器中看到容器日志
浏览 8提问于2022-06-22得票数 0
回答已采纳
我是Apache的新手，在搜索和阅读教程之后，我不明白在Storm集群中如何进行容错、负载平衡和其他资源管理器的工作？它应该配置在纱线上还是完成资源管理工作本身？它是否有其HDFS部分，还是应该先在集群中配置现有的HDFS？
浏览 0提问于2015-10-06得票数 2
回答已采纳
我有一个非开发集群运行的测试，但我的应用程序在我的本地框返回500个错误在非开发集群。但是，我看不到任何方法将测试集群添加到中。它只知道本地和Azure。如何将诊断事件控制台连接到其他集群？
浏览 0提问于2018-01-24得票数 1
回答已采纳
我的理解是，Driver将负责一切，特别是SparkSession.builder将创建到集群管理器和执行器的连接。似乎构建器也会配置执行器。
浏览 1提问于2021-02-25得票数 0
2回答
我正在尝试理解与在集群和客户端模式下创建星火提交驱动程序相关的事件序列。假设我在我的机器上，我使用Yarn资源管理器进行星星之交，部署模式是cluster。我的理解是：
星星之交bash脚本与资源管理器交互，并请求一个容器来运行主程序。一旦容器启动，火花提交脚本将在集群container.Once上运行主程序，然后执行主程序，然后火花上下文与资源管理器交互，为执行者创建容器。现在，如果这是一个正确的理解，那么当我们在本地机器上以集群模式运行python脚本时会发生什么呢？
浏览 0提问于2021-08-01得票数 0
我尝试将集群添加到本地服务结构中，但似乎找不到该选项。编辑:我知道我可以在本地托管它，我们在开发过程中这样做。但是我们也在本地服务器上托管了一个临时集群。可能是因为它托管在3个虚拟机上，运行3个节点，而本地集群在一台机器上运行。在azure的实时服务器上调试就是...错误的..
浏览 9提问于2018-01-26得票数 5
回答已采纳
这里的目标是在Azure Machine Learning和Azure Databricks下查询经常使用的计算实例大小列表，使用Azure资源图资源图资源管理器( Azure )，使用Kusto查询Azure
浏览 1提问于2022-05-27得票数 0
回答已采纳
1回答
Yarn 教程
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
浏览 328提问于2018-12-21
我正在调查是否可以在私有的RKE集群上使用云代码(在VSCode中)？使用VSCode，连接到集群的唯一选项似乎涉及GCP (或其他大型云提供商)或Minikube。Kubectl在集群上的设置和工作都很出色--只是在云代码中不支持运行/调试，等等？我运气不好吗？
谢谢。
浏览 9提问于2021-01-10得票数 0
回答已采纳
但是我希望blob存储中的日志被摄入到蔚蓝数据资源管理器集群中。在数据资源管理器集群中，我有一个数据库和表，其中已经定义了一些模式。问题是，我如何修改going中的事件，使其符合表模式？有可能吗？
浏览 19提问于2022-02-10得票数 1
我理解spark支持3个集群管理器，如纱线、独立和Mesos。如果我的理解是正确的，那么是否需要在Yarn集群的所有节点管理器(独立集群的从节点)上安装spark。
浏览 0提问于2019-06-14得票数 1
1回答
由于ha集群中只有虚拟ip和一种服务需要切换，所以我们决定不涉及起搏器，因此出现了这样的问题，例如不能通过心跳来监视应用程序服务，只有心跳才能在活动节点上启动它。
埃姆雷
浏览 0提问于2012-12-19得票数 0
1回答
我试着在我自己的私有集群上测试服务fabric节点平衡机制，但找不出为什么它不能工作。以下是我所采取的步骤：
在我发布两个应用程序集群后，5个节点的负载大约是200、200、600、200和200。我希望在资源管理器
浏览 8提问于2017-09-11得票数 0
Azure数据资源管理器中数据库的最大大小是多少？
我的数据到底存储在哪里？它在集群节点HDD上吗？
浏览 6提问于2022-02-04得票数 1
回答已采纳
1回答
如何部署星火，使其资源利用率最高
、、、、
我有10个服务器(16G内存，8个核心)，想要部署Hadoop和Spark，您能告诉我哪一个计划可以最大限度地利用资源吗？
谢谢。
浏览 3提问于2014-10-07得票数 0
我有一个Hadoop纱线集群，包括一个资源分析器和6个网络需求者。我想在集群上同时运行Flink和Spark应用程序。所以我有两个关于纱线的主要问题：
谢谢
浏览 1提问于2018-01-18得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
