查看页面:纱线配置文件yarn.yaml文件需要放置在位置~/.config/dask/yarn.yaml或/etc/dask/yarn.yaml中。它是否也被放置在环境变量DASK_ROOT_CONFIG指定的位置(如 )？
浏览 2提问于2019-06-08得票数 0
回答已采纳
1回答
使用为集群(所有节点)中的不同用户声明的环境变量并调用oozie工作流(Cloudera)和yarn容器根据用户恢复环境变量的最佳方式是什么？在Cloudera的yarn配置中，管理器似乎有这类引用，比如ENVVAR_USER=$ENVVAR_USER。
这是一种根据进行调用的用户获取不同属性文件的方法。
浏览 1提问于2016-02-23得票数 0
在我的Dask配置文件(即~.config/dask/yarn.yaml )中，我将worker环境变量设置为： queue: default # Yarn queue to deploy to
deploy-mode: remote # The deploy# A map of environment variables to se
浏览 0提问于2019-08-16得票数 0
回答已采纳
公平调度器是否支持基于应用程序类型的队列分配？就像所有的火花工作一样，Spark_Queue和MR_Queue也是如此。
浏览 3提问于2015-03-09得票数 1
回答已采纳
1回答
我正在尝试创建一个EMR集群(通过命令行)，并为其提供一些引导操作和配置文件。这样做的目的是设置一些SPARK/Yarn变量，以及其他一些应该在集群中使用的环境变量(因此这些环境变量应该在主服务器和从服务器上都可用)。我为它提供了一个配置文件，如下所示： { "Properties": {},
"Configuratio
浏览 8提问于2018-11-30得票数 0
1回答
我想从笔记本上换spark.yarn.queue和主人。由于内核的原因，当我打开笔记本时，spark和sc是可用的。跟着，我试着但根据spark.sparkContext.getConf()的说法，这条线没有任何影响。spark.conf.setMaster("yarn-cluster")问题:如何从木星笔记本中更改配置</e
浏览 0提问于2018-09-05得票数 0
回答已采纳
2014-04-29 12:03:33,505 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunchorg.apache.hadoop.fs.FileContext.getLocalFSFileContext(FileContext.java:409)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.ca
浏览 0提问于2014-04-29得票数 1
回答已采纳
我得到了下面的错误。Spark_local_dir已设置，并具有足够的空间和inode。 at java.io.FileOutputStream.writeBytes(Native Method) at org.apache.spark.storage.TimeTrackingOutputStream.write(TimeTrackin
浏览 1提问于2016-05-03得票数 1
我在我的pom.xml中得到了下面的maven配置，skipTests变量被Intellij终极2018.1高亮显示为红色
<build> <plugin> <groupId>org.codehaus.mojo</groupId>
<artifactId>exec-ma
浏览 1提问于2018-05-11得票数 1
回答已采纳
spark、hadoop、tez等都有一个可以手动配置的属性列表。示例：或或
pig.exec.reducers.bytes.per.reducer它似乎只能通过环境变量来设置。这个环境变量在幕后做什么？它会影响哪些属性？
浏览 5提问于2022-08-19得票数 0
回答已采纳
我有一个带有spark-on-yarn的CDH-5.4.0，4节点集群。我有一个环境变量YARN_CONF_DIR，它指向一个目录，该目录包含从集群成员之一获取的配置文件的副本(其中是yarn资源管理器的地址)。setMaster("yarn-cluster").// "yarn-cluster" or "yarn-client"
setAppNam
浏览 1提问于2015-05-12得票数 3
1回答
yarn add v1.15.2error An unexpected error occurred: "https://pkgs.dev.azure.coma bug, please open a bug report with the information provided in "C:\\****\\source\\Dev\\testmeup\\yarn-error.logDeleting generated file... package.j
浏览 0提问于2019-04-22得票数 1
回答已采纳
usr/hdp/current/spark-client/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn这些配置文件是如何传递给Hadoop的？
浏览 4提问于2020-08-03得票数 1
我在spark-defaults.conf中有Spark配置，xml文件: core-site.xml、hive-site.xml，并且我导出了环境变量。当我运行pyspark控制台时：然后：一切都是正确的，但是当我使用纯pyspark import SparkContext, SparkConfco
浏览 2提问于2016-07-07得票数 0
回答已采纳
我需要在EMR中设置一个自定义环境变量，以便在运行spark应用程序时可用。 ...我在EMR 5.3.1上运行，并通过cli：aws emr create-cluster...中的预配置步骤启动它。
浏览 1提问于2017-02-22得票数 12
6回答
我有一个从环境变量或配置中读取端口号的代码。代码如下所示await app.listen(port);
现在，我想传递环境变量。我试过跟随，
此命令在Linux中成功工作，但在Windows命令行中失
浏览 1提问于2019-09-08得票数 17
我应该怎么做才能让脚本在yarn中运行？jsonfrom bs4.element import Comment
sc = SparkContext("yarn
浏览 1提问于2017-11-30得票数 2
我正在将一个在Spark独立模式下运行的应用程序转换为在yarn上运行。在独立模式下，我们通过在spark-env.sh中设置环境变量来将一些配置传递给应用程序。这在yarn中不起作用，取而代之的是在spark-submit或spark-daemon.conf中设置参数spark.yarn.appMasterEnv.ENV_VARIABLE来将变量传递给驱动程序spark.yarn.appMasterEnv.MY_JSON_OBJ "{\"a\":\&quo
浏览 78提问于2018-02-14得票数 1
我怀疑它作为所有纱线应用程序都在纱线本地应用程序目录中，但我相信它是可配置的，因为我在几个月前就这样做了(将文件夹映射到内存)，但现在不记得了。
浏览 5提问于2016-08-26得票数 2
回答已采纳
我们正在hadoop纱线上运行samza作业。到目前为止，我们是通过在资源管理器主机上调用run-job.sh来手动部署作业的。Samza部署脚本和samza distribtuion tar "samza-dist.tar.gz“都放在资源管理器本地文件系统中
浏览 1提问于2016-09-13得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
