腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1456)
视频
沙龙
1
回答
无法从
dataproc
.googleapis.com获得的
Dataproc
作业日志
、
、
我在
dataproc
集群中启用了以下策略 "
dataproc
:
dataproc
.logging.stackdriver.job.driver.enable": "true", "
dataproc
:
dataproc
.monitoring.stackd
浏览 6
提问于2022-09-26
得票数 2
回答已采纳
2
回答
composer工作流在
dataproc
运算符处失败
、
、
我在gcp中设置了一个composer环境,它正在运行一个DAG,如下所示 with DAG('sample-
dataproc
-dag', submit_pyspark = DataProcPySparkOperator( cluster_nam
浏览 37
提问于2020-09-24
得票数 2
1
回答
如何从DataProcPySparkOperator发出气流日志
、
、
、
在从和发出日志时,我已经看到了几个比特,但是没有发现任何可以让我从容器化过程中发出日志的东西,例如DataProcPySparkOperator。import loggingfor ls in ['airflow', 'airflow.task', __name__]: l.info('Test {} logger'
浏览 2
提问于2020-12-08
得票数 2
回答已采纳
1
回答
未授权在使用工作负载标识时充当服务帐户的用户
、
在这个吊舱中运行的进程需要与GCP的
Dataproc
服务进行交互,以便创建
Dataproc
集群。我们使用运行我们的GKE应用程序。-
dataproc
.agents.get-
dataproc
.agents.update-
dataproc
.clusters.delete-
dataproc
.clusters.get -
dataproc</
浏览 3
提问于2020-09-17
得票数 1
回答已采纳
1
回答
dataframe.show()在Debian (
Dataproc
)中不工作
、
、
、
、
目前使用的是GCP和
Dataproc
,我对apache、pyspark和debian都是新手。因此,我试图在
dataproc
集群(Debian )中复制一个在本地机器(W10,VS Code,Spark3.3.1)中完美运行的火花作业。
浏览 11
提问于2022-11-17
得票数 1
回答已采纳
2
回答
未能提交“未授权请求的资源”的
dataproc
作业提交失败,缺少什么权限?
我们有一个现有的
dataproc
系列,我们使用
dataproc
的预定义角色来控制访问。我们希望限制用户对GCP项目的权限,因此我们将用自定义角色替换预定义的角色。我设计了一个自定义角色来控制对
dataproc
的访问,并授予它以下权限:
dataproc
.job
浏览 1
提问于2019-09-10
得票数 5
回答已采纳
1
回答
Dataproc
: Notebook集群模式中的Spark
、
、
、
、
我想知道,
Dataproc
是否提供了在Jupyter Notebook中以集群模式使用Spark的可能性? 如果是,它是如何工作的?
浏览 24
提问于2020-07-24
得票数 1
1
回答
Google到Server(基于centos 7)连接错误?
、
、
、
、
我有一个
dataproc
集群1.5,我还在运行centos 7 OS的google上安装了SQL Server。但是,我无法通过
dataproc
集群中的pyspark连接Server。我可以通过sqlcmd(安装在
dataproc
集群上)访问SQL服务器,也可以从
dataproc
集群通过PYMSSQL库访问SQL服务器。但不是用火花放电。
浏览 1
提问于2021-02-18
得票数 3
回答已采纳
2
回答
如何访问
Dataproc
集群元数据?
、
我使用的是de
Dataproc
python API,更具体地说是get_cluster()函数。 该函数返回了大量数据,但我无法找到Jupyter网关URL或其他元数据。from google.cloud import
dataproc
_v1 region = 'europe-west4'
浏览 16
提问于2020-01-06
得票数 3
回答已采纳
2
回答
我们如何使用apache airflow API创建
dataproc
集群
、
、
、
现在我需要再创建一个任务,这个任务可以用
Dataproc
Cluster来创建。提前感谢!
浏览 28
提问于2019-08-05
得票数 2
1
回答
触发规则ONE_FAILED满足时不触发气流任务
、
notify-on-start', op_kwargs={'msg': slack_start} trig
浏览 1
提问于2019-11-01
得票数 0
1
回答
无法在GCP上的
dataproc
集群中导入pyspark
、
、
检查日志“
dataproc
-初始化-脚本-0_output”,它简单地说:你知道我在这里错过了什么吗?编辑:但是,当我尝试在pyspark笔记本中加载pyspark
浏览 2
提问于2016-09-19
得票数 1
1
回答
如何使PySpark在集群上工作
、
、
、
我有一系列问题(很抱歉,Google文档太糟糕了,而且不方便用户使用): 为服务帐户下载的google.cloud.auth.service.account.enable真my_project.json密钥文件的完整路径
浏览 3
提问于2019-01-18
得票数 3
1
回答
RuntimeError:构建自定义映像时出错
、
、
当我使用创建定制的
dataproc
镜像时,它抛出了这个错误: run() File "
dataproc
/cloud-
dataproc
/custom-images/generate_custom_image.
浏览 14
提问于2019-07-15
得票数 2
2
回答
如何在云监控/堆栈驱动中按状态显示数据流程作业总数?
、
、
、
、
Dataproc
作业中应该有succeeded/failed/pending状态,我当然可以在云控制台上
Dataproc
下的Jobs部分看到这一点。例如: 100 (当我向
Dataproc
集群提交100个作业时)
dataproc
:
dataproc
.logging.stackdriver.job.dr
浏览 5
提问于2021-02-02
得票数 2
1
回答
我可以直接通过
dataproc
运行导出的数据流管道吗?
、
、
我遇到并发问题(同时运行多个管道),因此希望直接从
dataproc
运行导出管道(json)。是否有任何教程或脚本帮助我这样做? 如有任何帮助或线索,将不胜感激。
浏览 3
提问于2021-12-20
得票数 1
1
回答
无法创建
Dataproc
群集
、
、
我尝试通过气流和Google创建
Dataproc
集群,而集群的创建始终失败。','
dataproc
-poc',schedule_interval) # Delete Cloud
Dataproc
cluster# delete_
dataproc
浏览 0
提问于2020-09-15
得票数 3
回答已采纳
1
回答
在GCP日志中获取
DataProc
输出
、
、
我有一个在执行期间输出一些日志的
DataProc
作业。我可以在作业输出中看到这些日志。我的集群是根据创建的,参数如下:
dataproc
:
dataproc
.logging.stackdriver.enable=true
dataproc
:
dataproc
浏览 1
提问于2021-03-15
得票数 1
2
回答
无法从'google.cloud‘导入名称'
dataproc
_v1’(未知位置)
、
、
、
、
尝试通过Jupyter Notebook使用
Dataproc
从计算机进行访问时,我使用pip安装了所需的库。但是,在导入时出现错误 import google.cloud.
dataproc
_v1 错误信息如下: ModuleNotFoundError Traceback(most recent call last)----> 1 import google.cloud.
dataproc</e
浏览 21
提问于2020-09-11
得票数 1
1
回答
Dataproc
上的Zookeeper
、
我需要一个关于在
Dataproc
上设置Zookeeper集成的建议。手头的场景是一个项目,它将有3个长期运行的
Dataproc
集群,以及每个作业动态创建的许多临时集群。我知道我可以将Zookeeper组件添加到每个
Dataproc
集群,但是如何创建由多个集群组成的集成呢?
浏览 15
提问于2020-07-29
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自学14天后,我毁掉了自己的数据工程师面试
Kaggle大神带你上榜单Top2%:点击预测大赛纪实(上)
机器学习人工学weekly-12/24/2017
数据湖和SQL并不矛盾
IT 人眼里最吃香的技术:软件开发 JavaScript;数据专业 R等
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券