当我尝试用自定义镜像创建Dataproc集群时，我得到了这个... │ Error: Error creating Dataproc cluster: googleapi: Error 400: FailedSee https://cloud.google.com/dataproc/docs/concepts/versioning/dataproc-versions for addi
浏览 40提问于2021-10-11得票数 2
回答已采纳
我有一个问题，当我创建一个DataProc自定义图像和Pyspark。我的自定义镜像基于DataProc 1.4.1-debian9，并使用我的初始化脚本从一个requirements.txt文件安装python3和一些包，然后设置python3环境变量以强制pyspark但是，当我在使用此镜像创建的集群上提交作业时(为简单起见，使用单节点标志)，该作业找不到已安装的包。如果我登录
浏览 23提问于2019-07-12得票数 7
回答已采纳
我正在尝试使用Spark 2.1启动一个Dataproc集群。有没有Spark 2.1的镜像版本？我看到的是Spark 2.0和2.2，但不是2.1。https://cloud.google.com/dataproc/docs/concepts/versioning/dataproc-versions
浏览 13提问于2020-12-22得票数 2
回答已采纳
我已经使用这个命令创建了一个自定义的dataproc镜像... $ python generate_custom_image.py --image-name my-ubuntu18-custom --dataproc-version 1.5-ubuntu18 --customization-script my-customization-script.sh --zone us-central-1 --gcs-bucket gs://dataproc-
浏览 21提问于2021-10-10得票数 2
回答已采纳
我正在通过GCP集群打开的Jupyter笔记本中编写代码。我正在使用Spark-BigQuery连接器从BigQuery读取数据。我还尝试用随机数创建了一个“测试”数据帧，并绘制了它--它工作得很完美。所以这肯定是我的数据集有问题...我只是不确定是什么。
浏览 12提问于2020-04-20得票数 1
回答已采纳
我正在做一个scala Spark工作，它需要使用java库(youtube/vitess)，它依赖于比目前DataProc 1.1镜像上提供的更新版本的GRPC (1.01)，Guava (19.0)在本地运行项目并使用maven构建时，会加载这些依赖项的正确版本，作业将不会出现问题。将作业提交到DataProc时，首选这些库的DataProc版本，并且作业将引用无法解析的类函数。在<e
浏览 5提问于2016-11-09得票数 5
我使用Jupyter initialization创建了一个DataProc集群。我使用的镜像版本是1.4。但是，当我尝试使用Jupyter (PySpark内核)从Google：Reading and writing data from BigQuery运行这个示例时，它给出了以下错误： Py4JJavaErrorjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor
浏览 14提问于2019-04-17得票数 2
回答已采纳
1回答
我有一个在执行期间输出一些日志的DataProc作业。我可以在作业输出中看到这些日志。我的集群是根据创建的，参数如下：dataproc:dataproc.logging.stackdriver.enable=truedataproc
浏览 1提问于2021-03-15得票数 1
1回答
使用Google控制台中的DataProc gui。它工作得很好，但几周后，我尝试运行类似的jar，由于难以解释的原因，作业失败。这看起来不像是连接参数问题，因为如果我使用不存在Hbase表名，它会理解这一点。
1.1.2和1.0.1.1 Hbase客户端的结果是相同的。1.0.1.1来自示例。我发现集群使用的是1.1.2版本，这是由bdutils设置的。
浏览 1提问于2016-02-19得票数 0
我刚开始使用云服务，在谷歌的云平台上导航是非常可怕的。当涉及到Google Dataproc时，他们确实在宣传Hadoop、Spark和Hive。
我的问题是，Impala到底有没有？我想做一些基准项目使用所有这四个工具，我需要Apache Impala以及Spark/Hive。
浏览 1提问于2019-05-31得票数 2
2回答
我已经使用docker为单节点部署部署了cloudera/quickstart镜像。然而，我希望有一个多节点cdh部署在4个节点上使用docker。
浏览 1提问于2016-07-13得票数 2
我正在为各种spark流作业运行多个dataproc集群。所有集群均配置为单节点。=========== Cloud Dataproc Agent Error ===========at java.lang
浏览 3提问于2017-07-13得票数 1
嗨，我是GoogleDataProc新手，正在尝试为数据处理创建自定义映像。我已经按照文档中提到的所有步骤进行了操作，但在运行它时，我发现"BuildSucceeded: Dataproc Initialization Actions SuccessMatch“。在那之后，我得到了以下错误：python -图像名称xyz --dataproc-version 1.2.45 --自定义脚本customization_script.sh
浏览 6提问于2018-08-18得票数 0
回答已采纳
我正在尝试为无浏览器部署一个ECS集群。然而，遇到了一些我无法解决的问题。 我将尝试向您介绍我在设置过程中所做的事情。进入ECS，创建集群，选择自定义镜像，镜像路径为docker.io/browserless/chrome：https://hub.docker.com/r/browserless/chrome/的最新版本
浏览 29提问于2019-03-25得票数 1
回答已采纳
有问题的服务是一个集群(SOLR)，它只能与HDFS对话，因为我没有hadoop (也不需要它)，理想情况下，我希望有一个docker容器，它将使用Google存储桶作为后端，并通过HDFS公开其内容。我想我可以只挂载gcsfs并使用HDFS设置一个单节点集群，但是有没有更简单/更健壮的方法呢？
如有任何提示/指示，欢迎光临。
浏览 1提问于2020-08-13得票数 0
我创建了一个新的kubernetes集群(GKE)，并使用helm安装了一个应用程序。我能够使用命令kubectl get pod -n namespace -o wide找到部署pod的gke节点 发布我登录到kubernetes-node的消息，但是在这个节点上我无法查看dockerv1.21.4-gke.2300就是这种情况 在旧版本v1.19.13-gke.1200中，当节点上的docker-image从存储库中拉出时，我可以观察到它们 我可以使用命令kubec
浏览 50提问于2021-10-10得票数 0
回答已采纳
我已经在Bluemix上申请了BigInsights基本服务计划，并创建了一个集群。我想在集群中添加一个自定义服务。但是，我发现Linux节点上没有root或sudo权限，无法将我的服务镜像放到Ambari资源堆栈中。此外，在Ambari管理UI中没有"Actions -> +Add Service“按钮来添加自定义服务。因此，我的问题是，如何将自定义服务添加到"BigInsights basic服务计划“的集群</e
浏览 6提问于2016-08-16得票数 0
我能够使用自定义映像从命令行创建集群：
正如中所指定的那样，但是我无法找到有关如何使用v1beta2 REST来从气流中创建集群的信息
浏览 0提问于2018-04-19得票数 0
回答已采纳
我正在尝试在Google Kubernetes引擎中设置一个私有集群，由于节点不能访问公共互联网，它们无法从Docker Hub中拉出。正如所描述的，解决方案是将Docker守护进程配置为也从谷歌的内部镜像获取，但我在设置集群时没有找到这样做的选项，而且由于节点是私有的，我不希望有权手动执行此操作。
浏览 1提问于2018-12-05得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
