我正在尝试执行一个DAG，它在Cloud Composer上创建一个Dataproc集群。但它在尝试保存大查询时失败。我想这是缺少一个jar文件( --jars gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar)，但我不知道如何添加到我的代码中。gcloud dataproc jobs submit pyspark --cluster cluster-bc4b --jars gs:
浏览 36提问于2021-10-29得票数 3
我有一个运行在Google Cloud Composer上的DAG。这个DAG在我们的BigQuery之上执行一些操作(我们使用的是airflow.contrib.operators.bigquery_operator.BigQueryOperator)如果DAG中有故障
浏览 34提问于2021-06-21得票数 0
回答已采纳
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？
浏览 4提问于2022-10-21得票数 1
我更喜欢使用Cloud Composer服务帐户。我已经通过Airflow UI创建了一个新的连接，参数如下：Conn Type: google_cloud_platform
Project,https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/dri
浏览 4提问于2018-08-09得票数 2
回答已采纳
1回答
我正在使用GCP (Composer)上的气流构建一个Cloud (MS )到BigQuery集成。我在GKE集群中设置了一个云SQL代理，它运行良好，没有错误：kind: Deployment labels: restartPolicy: Alwaysdag</e
浏览 1提问于2020-11-28得票数 0
回答已采纳
浏览了gcp、composer和cloud shell上的不同文档，但找不到可以将cloud shell环境连接到composer DAG文件夹的位置。现在，我正在云shell (本地系统)之外创建python脚本，手动上传到DAG文件夹，但我只想在云shell上执行此操作。有谁能告诉我上面的方向吗？此外，当我尝试在云shell上的python文件中使用import airflow时，它给出了模块找不到的错误。我该怎么安装它呢？
浏览 0提问于2021-04-20得票数 0
我在datastore_export_operator.DatastoreExportOperator任务下运行airflow DAG时收到权限错误。airflow环境是使用google composer创建的，并具有默认的google_cloud_datastore_default连接，但我仍然收到这个错误：请注意-
浏览 10提问于2019-07-19得票数 0
上下文 我正在尝试使用Composer，DataProc和BigQuery在谷歌云平台上建立一个摄取管道。我在BigQuery中有一个表，其中包含数据源及其相关文件的记录。因此，如果我需要摄取5个文件，那么在BigQuery表中就有5条记录。明天可能会有不同数量的文件。因此，我考虑在我的DAG中动态构建任务。我可以在Airflow UI中看到我的DAG和所有动态生成的任务。 编辑:只是添加更多的细节。BigQuery表的记录将少于25条，因此不需要查询
浏览 51提问于2021-02-25得票数 0
回答已采纳
我想从airflow.providers.google.cloud.sensors.bigquery导入BigQueryTableExistenceAsyncSensorfrom airflowwith other DAGBigQueryTableExistenceAsyncSensortable_id='test_table'
浏览 12提问于2022-10-25得票数 0
回答已采纳
具体来说，我想知道作曲家DAG何时失败。我成功地使用以下查询筛选器在控制台中设置了基于日志的警报：severity="ERROR"filter = "resource.type=cloud_composer_env
浏览 12提问于2022-11-10得票数 0
我试图在Composer中创建一个DAG。导入时，我将得到以下错误：这是DAG文件。DAGfrom airflo
浏览 0提问于2019-04-30得票数 2
回答已采纳
1回答
我正在使用GCP云编写器，并且有一个气流实例和一个DAG。DAG的默认参数如下：default_args = { # uploads,"owner&q
浏览 2提问于2021-12-03得票数 0
回答已采纳
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天前它还运行得很好。然而，就目前而言，当我尝试创建一个新的clou
浏览 65提问于2019-01-16得票数 1
我用pd.read_gbq()在Jupiter Notebook中加载了GBQ中的数据。然后我对它们进行预处理并建立ML模型(我知道BigQueryML，但这对我的任务来说还不够)。我知道如何在GBQ中加载结果，但我不知道如何自动生成结果。我需要每天训练模型和预测。云服务有没有商机？也许可以用可乐？
浏览 22提问于2019-10-08得票数 0
回答已采纳
我有一个包含大约1000个表的MS SQL Server数据源，我需要将其放入BigQuery中。我希望使用数据融合将它们全部加载到BigQuery中的临时表中，然后对它们执行转换。然而，一旦我创建了一个带有两个“岛”的管道，它就会给出一个DAG错误。这是一个特性还是仅仅是我做错了什么？我在文档里找不到任何东西。我的管道看起来像这样： ? 当我尝试部署时，我得到的错误是：“无效的DAG.有一个由阶段BigTest和BigQuery</em
浏览 10提问于2019-06-28得票数 2
回答已采纳
3回答
我想显示DAG (气流)的最终状态(成功/失败)到一个桌子在烧烤。就像该表可以包含:日期-时间，DAG -名称，状态等列，它将根据DAG的最终状态进行填充。
请帮助；如何才能做到这一点？
浏览 15提问于2022-03-07得票数 1
回答已采纳
1回答
我试图在Pub/Sub中发布一条消息，但我得到了以下错误： log_monitoring(DAG_STATE_SUCCESSfrom concurren
浏览 1提问于2021-08-30得票数 0
回答已采纳
我正在composer DAG中执行Bigquery操作，并得到以下错误：[2021-08-19 15:Job 263145: Subtask sample [2021-08-19 15:13:07,806] {pod_launcher.py:125} INFO - b' from google.cloud.bigquery.routineJob 263145: Subtas
浏览 8提问于2021-08-19得票数 0
回答已采纳
在使用cloud-composer执行以下python脚本时，我在Airflow代码中的gcs2bq任务日志下获得了*** Task instance did not exist in the DB：trigger_rulefrom airflow.contrib.operators import bigquery_operatorCloud Storage bucket.]
with models.DAG</em
浏览 0提问于2018-11-19得票数 0
我在Google cloud composer中以python操作符的身份执行此代码。当我执行代码时，出现了下面的错误。'str' object has no attribute 'to_api_repr'@-@{"workflow": "DataTransformationSample1", "task-id": "dag_initpython3.6/lib/python3.6/si
浏览 14提问于2020-06-24得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号