我正在尝试通过部署Data Fusion实例的另一个项目中的Data Proc集群来执行管道，但我遇到了一些问题。数据过程实例似乎已正确创建，但作业启动失败。有没有办法解决这个问题？这里是错误的堆栈跟踪谢谢
浏览 10提问于2020-07-29得票数 1
回答已采纳
当然，它会启动DataProc，连接到SQL server，并将数据导入Google BigQuery。当我们必须按顺序运行时，需要700分钟吗？当我们尝试在流水线中并行运行时，我们受到网络范围的限制，可能是256/3.1。1流水线启动3个虚拟机的1个主机2个从机。我们试过了，但当我们并行启动10个以上的管道时，性能会下降。问题。这是正确的方法吗？
浏览 42提问于2020-07-01得票数 1
我正在尝试从限制外部IP访问的客户端提取数据。我已经使用允许的IP配置并测试了云NAT。但是，当我部署我的Pipeline时，Data Fusion创建了Dataproc集群，并将其他临时外部IP分配给节点。我不想分配这些IP，这样节点就可以使用云NAt上定义的IP。我尝试过通过Data Fusion运行时参数将--no-address传递给Dataproc，但这不是正确的方式。此外，我还查找了一些
浏览 0提问于2019-06-13得票数 1
有没有办法避免后续触发的出站管道的配置步骤？看起来，当管道触发出站管道时，它会重新进行配置。我们可以简单地在第一个配置的集群上执行触发流水线吗？
谢谢。
浏览 0提问于2021-02-25得票数 2
我正在发现这个工具，我有一些问题： FTP您所说的文件类型(Source，Sink)，-is是否也可以将流水线的结果直接发送到-what服务器 我查看了文档，但没有找到此信息 谢谢
浏览 9提问于2019-06-25得票数 1
回答已采纳
尝试在云数据融合中摄取和转换拼图文件。我可以看到我可以使用GCS插件来摄取拼图文件。但是，当我想要使用wrangler插件来转换它时，我看不到有任何功能可以这样做。顺便说一句，我刚刚部署了我的管道，看看我是否能够从GCS摄取拼图文件，但我在日志中看到了这个错误： ... 4
浏览 24提问于2021-02-25得票数 1
我尝试使用谷歌数据融合服务，我创建了一个简单的管道，它将从BigQuery中提取数据并以json格式将数据加载回GCS，但是当我运行该管道时，我会得到以下错误。(DefaultSSHSession.java:82)的java.io.IOException: com.jcraft.jsch.JSchException: java.net.ConnectExceptionio.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillPreparer.lambda$start$0(
浏览 5提问于2019-04-26得票数 3
我正在按照Cloud Data Fusion sample tutorial中的说明进行操作，一切似乎都很正常，直到我尝试在最后运行管道。根据说明为Google托管服务帐户设置云数据融合服务API权限。管道预览功能工作正常，没有任何问题。 但是，当我部署和运行管道时，它在几分钟后失败。storage.buckets.create access to project X."
} xxxxxxxxxxx-compute@developer.gserviceaccount.com是我的
浏览 44提问于2019-06-28得票数 4
回答已采纳
我最近开始学习GCP，我正在做一个POC，它要求我创建一个能够调度用PySpark编写的Dataproc作业的管道。目前，我已经在我的Dataproc集群上创建了一个Jupiter笔记本，它从GCS读取数据并将其写入BigQuery，它在Jupyter上工作得很好，但我想在流水线中使用该笔记本。我的目标是调度多个Dataproc作业的运行。
浏览 33提问于2021-08-16得票数 2
回答已采纳
我试图通过cloud创建带有服务帐户的Dataproc集群。它抛出了一个compute.projects.get被拒绝的错误。服务帐户具有计算查看器访问、计算实例管理、dataproc编辑器访问。在IAM策略疑难解答程序中，我检查了将dataproc.cluster.create分配给服务帐户。) PERMISSION_DENIED：“projects/xxxxxx”所需的</em
浏览 2提问于2020-01-25得票数 1
回答已采纳
1回答
我在开发人员和企业模式下使用了Google Cloud platform的DataFusion产品。 对于开发人员模式，没有数据过程设置(主节点、工作节点)。对于企业模式，有一个dataproc设置值。(主节点、工作节点) 我好奇的是企业模式的情况。 我能够设置Master节点和Worker节点的值。详述 Enterprise
- Master.- Master Cores: 2vcpu
- Master Memor
浏览 14提问于2020-10-26得票数 0
回答已采纳
如何访问云数据融合实例的CDAP？我想使用Composer来编排我的管道。
我有一个启用私有IP的Enterprise实例，但我无法找到任何关于如何访问REST的文档。实例详细信息页仅显示一个/22 IP地址范围-它没有指定特定的IP。我是否使用UI的IAP受保护的URL访问？
浏览 4提问于2019-11-19得票数 3
回答已采纳
我正尝试在py4j计算器的本机模式下运行"pip install Python“。我找不到可以运行此命令来安装依赖项的位置。在web上的任何位置都找不到解决方案。请指导我在数据融合中执行此命令。
浏览 2提问于2020-02-05得票数 1
1回答
我是云领域的初学者，希望将我的dataproc cluster访问限制在项目中给定的gcs buckets上。让我们说我已经创建了一个名为service account的'data-proc-service-account@my-cloud-project.iam.gserviceaccount.com'，然后我创建了一个dataproc集群并将服务帐户分配给它。这里的问题是：(很可能是与SRE资源相关的<
浏览 6提问于2020-07-29得票数 3
回答已采纳
2回答
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41提问于2019-03-05得票数 5
因此，我试图从位于google脚本上的脚本插入到我的Fusion Table中，但是来自不同的帐户和不同的计算机。该帐户不知道Fusion Table，并且当它尝试运行需要插入值的脚本时，它会返回一个“禁止”错误function registration(tableId) {+ " (Email) VALUES (\&#
浏览 8提问于2016-10-25得票数 0
我是Google云和评估Dataproc集群的新手，其核心需求之一是动态创建集群并处理作业。对于各种文档读取和，我尝试创建一个服务帐户并添加以"Dataproc“开头的角色。",}
仍然无法创建集群。我不太确定我错过了什么。不幸的是，我也无法从伐木中
浏览 4提问于2020-05-07得票数 2
回答已采纳
由于Dataproc集群的计算引擎使用默认的服务或自定义服务帐户凭据来使用--properties core:fs.gs.auth.service.account.json.keyfile连接到存储桶，这与提交作业的用户主体没有任何关系，或者我找不到控制它的选项，这使得dataproc集群不安全，并造成了一个问题，它在多用户环境中引入了另一层间接方向，当使用的密钥文件与不对应时。在我的例子中
浏览 2提问于2018-10-29得票数 3
在免费试用帐户中尝试，工作流DAG的第一个任务运行以下操作符： task_id='create_dataproc_cluster',
cluster_name='quickstart-cluster-{{ ds_nodash }}，而n1-standard-1已经是最小的
浏览 0提问于2019-05-25得票数 3
回答已采纳
1回答
我从google工作区API中检索数据。我从Dataproc集群使用Service对那些API进行身份验证。
我有两种使用服务帐户进行身份验证的方法。我要么使用JSON密钥文件对我的SA SA-with-keyfile进行身份验证，要么使用我的Dataproc集群的默认SA：SA-default。这两个SA都被授权访问数据，我为它们提供了相同的范围。，我检索我的数据。)会出现这个错误，因为我在这两种情况下都使用相同<
浏览 12提问于2022-04-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
