我有一个包含大约1000个表的MS SQL Server数据源，我需要将其放入BigQuery中。我希望使用数据融合将它们全部加载到BigQuery中的临时表中，然后对它们执行转换。然而，一旦我创建了一个带有两个“岛”的管道，它就会给出一个DAG错误。这是一个特性还是仅仅是我做错了什么？我在文档里找不到任何东西。我的管道看起来像这样： ? 当我尝试部署时，我得到的错误
浏览 10提问于2019-06-28得票数 2
回答已采纳
我想使用云数据融合加载aws rds mysql服务器中的许多表。每个表的存储大小约为1 1gb。我还找到了一个名为“多数据库表”的插件来加载多表。但我失败了。而且，基本上当我使用数据库源时，我可以检查我的表的模式。然而，在多个数据库表中，我找不到如何检查表模式。我如何使用此插件?或者在<em
浏览 7提问于2021-07-13得票数 0
2回答
我们有一个云功能，它是基于云存储的。一旦文件加载到桶中，此云函数将触发。当文件加载时，该函数将调用/触发气流DAG。这个DAG将处理该文件。问题是，当多个文件在一秒钟内同一时间放置时，函数调用失败，出现以下错误，
b‘{“错误”：“运行id pl_imaoc_trigger_dag_2020-07-31T17:48:
浏览 4提问于2020-08-01得票数 0
我要在MySQL中运行一个具有多个表联接的复杂查询，并将输出数据导入BigQuery表。
我想为此使用云数据融合。我是GCP的新手，不知道如何实现这一目标。我知道可以使用数据融合将MySQL表引入到BigQuery表中，但这是一种直接的拉动。如果我想要运行一个具有多个表联接的查询，并使用云<e
浏览 10提问于2022-10-11得票数 0
我是全新的GCP和云数据融合。我看到您可以使用此服务将跨数据源的数据集成到数据池中。最终，我希望这些数据可以在BQ中获得。sftp站点将有多个文件表示多个表。/r
浏览 1提问于2020-10-28得票数 0
回答已采纳
在我们的大数据项目中，有3000个表需要加载，所有这些表都应该由气流中的一个单独的DAG来处理。在我们的解决方案中，单个python文件生成每种类型的表加载器，因此它们可以通过基于事件的REST通过云函数单独触发。因此，我们使用以下方法生成我们的DAG：
用于DAG生成器逻辑scd2的气流变量生成表类型的表名列
浏览 3提问于2021-11-06得票数 1
回答已采纳
2回答
我写了一个基于云函数的云存储触发器。我有10-15个文件在云存储桶中以5秒的间隔登陆，它将数据加载到bigquery表中(截断并加载)。当存储桶中有10个文件时，我希望云函数以顺序的方式处理它们，即一次处理一个文件，因为所有文件都访问相同的表进行操作。目前云函数一次触发多个文件，BIgquery操作失败，因为<
浏览 1提问于2020-07-15得票数 0
1回答
我试图在气流2+中创建一个DAG，它将使用CloudDqtaFusionStartPipeline操作符触发多个数据融合管道，它们将并行运行。我正在尝试的流程如下所示。开始- read_bq - df_1，.df_n
这里，read_bq是一个BigQuery任务，它将从BigQuery表中读取值作为列表
浏览 8提问于2022-10-16得票数 0
目标是使用云数据融合连接Cloud或postgreSQL实例。用MySQL和postgreSQL创建Cloud实例
在添加连接中使用jd
浏览 2提问于2019-08-01得票数 0
1回答
它将在bigquery表加载后自动触发。我不想使用每周调度查询，这是手动任务，我希望这使它在将表加载到Bigquery表时自动触发调度。
浏览 10提问于2022-11-12得票数 0
我正在尝试使用云数据融合( BigQuery )中的执行函数。该组件验证良好，SQL签出，但每次执行时都会得到这个没有意义的错误：02/11所讨论的SQL是dataset.table中的简单删除，其中ds = CURRENT_DATE()这是管道 "name": "
浏览 15提问于2022-02-11得票数 0
回答已采纳
我正在尝试使用云数据融合来测试连接到。我们的GCP项目不使用默认网络，而是使用自定义VPC。我使用角色云数据融合API服务代理复制并添加了生成的数据融合服务帐户
浏览 0提问于2019-09-27得票数 2
我正在尝试从限制外部IP访问的客户端提取数据。我已经使用允许的IP配置并测试了云NAT。我不想分配这些IP，这样节点就可以使用云NAt上定义的IP。
我尝试过通过Data Fusion运行时参数将--no-address传递给Dataproc，但这不是正确的方式。此外，我还查找了一些在我的Data Fusion实例上配置计算配置文件的方法，这在基础版或企业版中都找不到。我希望获得一个云数据融合管道，使用我的云NAT外部IP连接到我的客
浏览 0提问于2019-06-13得票数 1
我需要编写dag，这样它就可以将csv文件的内容加载到Bigquery表中，但是如果表中已经存在该内容，它就会丢弃该文件。我知道我们可以在正常的编程中计算文件的哈希，但不知道如何处理Airflow和Bigquery。有人知道怎么做吗？
浏览 0提问于2021-09-13得票数 0
我已经启用了云数据融合API，并在BigQuery中的项目A中创建了一个实例。项目A将包含我们的数据仓库，并从BigQuery上的其他项目中加载和转换数据。当我试图从表B.X上的项目B创建一个具有源BigQuery的管道时，我会得到关于BigQuery表的详细信息:访问被拒绝:表B.X。在表B.X上拒绝的权限bigquery.tables.get (或者它可能不存
浏览 5提问于2021-10-06得票数 0
回答已采纳
我试图在美国和加拿大创建一个“服务区域”的谷歌地图，无意中发现了这种融合表层的东西&认为它会产生很好的效果，但我有问题。我不能创建一个融合表&在不向google付费的情况下将其公之于众，没有办法，我将使用现有的公共表。我需要将样式应用到融合表层，但我正在加载2个融合表(层)& API只允许将样式添加到一个层。}],
suppressInfo
浏览 0提问于2018-04-06得票数 0
回答已采纳
/student/land/压缩文件sameer/student/pro/未压缩文件在上面的例子中，我需要从存在于不同子目录中的所有LAND文件夹中读取文件，并需要处理它们，并将它们放在与其相同的子文件夹中的PRO文件夹中。在GCS源代码中，我提供了
浏览 2提问于2020-11-05得票数 0
我的守护进程的一些操作符有一个失败的状态。我正在努力理解错误的根源。 filename="/home/airflow/gcs/d
浏览 4提问于2020-04-07得票数 1
我知道，在dag_a的末尾，我可以添加一个触发器来启动dag_b。然而，从抽象的角度来看，这种哲学上是错误的：dag_a不需要理解或知道dag_b的存在，但是这种模式将强制执行在dag_a上调用dag_b的责任。更具体地说，我设想了一个用例，其中多个DAG每天运行(因此它们共享相同的运行日期)，并且每个DAG的输出都是某个表中的一个日期分区。现在，我在下游dags
浏览 7提问于2022-03-31得票数 1
我有一个云函数，它在文件到达时触发进程，云函数将文件名/位置传递给DAG。在我的DAG中，我有两个任务：
1)使用DataflowPythonOperator运行数据流作业，该作业读取GCS中的文本中的数据，并将其转换为BQ，2)根据作业失败或成功与否将文件移动到失败/成功桶我查看了其他气流操作符，但在运行数据流作业之前，我希望在</e
浏览 0提问于2019-01-09得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
