Google获取在BigQuery中非美国位置运行作业的状态

文章/答案/技术大牛

发布

2回答

clojure、google-bigquery

我有一个应用程序，可以读取CSV文件并将其推送到BQ表，在执行下一个CSV文件之前检查该作业的状态，等等。，但是我不能在我的Clojure代码中调用BQ get API来获取状态。在调用插入作业API时，我在jobReference中设置了位置然后像这样调用我的job-reference (doto (JobReference.) (.setLocation "aust

浏览 25提问于2020-09-22得票数 0

回答已采纳

1回答

多区域Cloud联邦BigQuery查询不工作

google-cloud-platform、google-bigquery

根据Cloud联邦查询文档，可以运行多区域BigQuery作业，在指定的多个区域所包含的区域中查询Cloud实例：但是，当我试图在US 4中的Cloud实例上运行一个查

浏览 11提问于2020-02-05得票数 2

回答已采纳

2回答

bigquery DataFlow错误:在欧盟读写时不能在不同的位置读写

python、google-bigquery、google-cloud-dataflow、apache-beam

我有一个简单的Google DataFlow任务。它从BigQuery表中读取并写入另一个表，如下所示： | beam.io.Read( beam.io.BigQuerySource(WARNING:root:Dataset m-h-0000:temp_dataset_e433a0ef19e64100000000000001aH

浏览 7提问于2017-10-15得票数 2

回答已采纳

1回答

澳大利亚地区数据集的Cloud composer问题

google-cloud-platform、airflow、google-cloud-composer

我尝试使用cloud composer来调度和编排Bigquery作业。Bigquery表在澳大利亚-东南1 region.The云composer环境是在美国中央1地区创建的(因为composer在澳大利亚地区不可用)。当我尝试下面的命令时，它抛出一个模糊的错误。当我尝试使用驻留在欧盟和美国的数据集时，相同的设置工作得很好。Command: gcloud beta compose

浏览 11提问于2019-02-13得票数 0

回答已采纳

1回答

错误Bigquery/数据流“无法解析数据目录中的表”

google-cloud-platform、google-bigquery、google-cloud-dataflow、dataflow

我在数据流上做的工作遇到了麻烦。下面是上下文，我使用以下路径在bigquery上创建了一个数据集现在，我想在数据流上运行一个作业，然后在google-月-区域=us-bigquery=sales-bigquery=每月销售控制台接受该查询，并返回一种接受消息。我可以看到一个新作业</e

浏览 1提问于2021-09-29得票数 1

1回答

我们可以在使用Bigquery库从Bigquery读取数据的同时，将位置从US更改到其他区域吗？

amazon-web-services、google-cloud-platform、google-bigquery、cloud

我试图使用Bigquery使用读取数据。val bigquery: BigQuer

浏览 3提问于2020-01-07得票数 1

1回答

对于通过java bigquery库运行作业的bigquery来说，阶段级数据不会出现。

google-cloud-platform、google-bigquery

我使用com.google.cloud.bigquery库获取作业级别的详细信息。;我的依赖 <groupId>com.google.cloud</groupId> <version>

浏览 7提问于2022-05-05得票数 1

1回答

Datalab无法读取dataproc上的Bigquery数据

google-cloud-platform、google-bigquery、google-cloud-datalab

datalab安装在gcp上的dataproc 1节点群集上。以下查询已成功运行：%%bq tables describe --name "datalab-dev-xxx.ML_PP_xxx.ML_CAMPN30_xxx" 数据读取查询失败，错误为：SELECTdatalab-dev-xxx.ML_PP_xxx.ML_CAMPN30_xxx' WHERE partition_day = "2019-05-22" LIMIT 10 错误: HTTP请求失败:未找到:作业

浏览 29提问于2019-05-23得票数 0

1回答

如何使用Bigquery* Nodejs客户端库检查Bigquery中的Kmeans模型是否已完成训练？*

node.js、google-bigquery

我有一个应用程序，允许人们使用图形用户界面在Bigquery中创建模型，所以我可以通过调用调用bigquery的nodejs app来创建模型，模型需要一些训练，我如何使用nodejs bigquery客户端库查询bigquery来检查我的模型是否完成了训练，这样我就可以知道模型已经完成训练，我可以开始访问质心了？

浏览 18提问于2021-10-18得票数 0

回答已采纳

1回答

BigQuery:从PHP中获取查询结果的错误

php、google-bigquery

我已经在BigQuery上更改了一些配置，实际上我不能再获取数据了。仪表板运行查询，那么它就是工作，我可以得到结果。这里我得到了一个404错误，"notfound"，我检查了这个作业id与仪表板上的那个是否匹配，它是否匹配。{“错误”：{“代码”：404，“消息”：“找不到:作业我-项目:作业-id”，唯一的区别是，在仪表板内的作业中，位置指

浏览 1提问于2021-12-02得票数 0

1回答

GCP云数据丢失预防请求违反约束

security、google-cloud-platform、google-bigquery

我是安全指挥中心(SCC)和数据丢失预防(DLP)的新手。我试图在DLP中创建一个作业，以检查BigQuery表中是否有任何PII，但是在创建时我会得到以下错误： Request violates constraint constraints/gcp.resourceLocationsLearn more https://cloud.google.com/resource-manager/docs/organization-po

浏览 4提问于2020-07-20得票数 0

回答已采纳

1回答

GCP云数据丢失预防请求违反约束

security、google-cloud-platform

浏览 0提问于2020-07-20得票数 0

回答已采纳

2回答

Google Cloud Composer API Operator-获取作业BigQuery HTTPError 404

python、google-api、google-bigquery、airflow、google-cloud-composer

我正在尝试在GCC上运行BigQueryOperator。我已经成功地运行了BigQueryCreateEmptyTableOperator和BigQueryTableDeleteOperator。html_content=""" """) hello_python >> bq_union_query >> email_start dag在命中bq_union_query [2019-0

浏览 13提问于2019-03-22得票数 2

回答已采纳

1回答

BigQuery :作业已完成，但尚未创建表

google-bigquery

我目前正在尝试运行2个作业和一个查询通过一个脚本使用谷歌BigQuery应用程序接口。这两项工作涉及从Google Cloud Storage将两个CSV(压缩为BigQuery )加载到GZIP，并创建两个表。然后，我们运行查询以使用另外两个表创建第三个表。为了同步执行此操作，我检查作业响应的状态字段，当状态为完成时，我进行查询。不幸的是，即使状态被标记为完成，作业</

浏览 0提问于2014-08-20得票数 1

2回答

如何在BigQuery命令行工具中获得上一个作业的作业id？

google-bigquery、gcloud、gsutil

我正在bq中运行一些命令来将数据从BigQuery提取到GCS。我能够达到目标的结果。我能够查询数据，并能够将数据以所需的格式放入GCS。我只是想知道是否有可能获得上一份工作的工作身份，这是状态。我知道我们可以使用bq作业列表方法获得所有的作业细节，但是它给了我一个完整的结果集。我只想得到那份工作的状态。bq -位置=美国提取--目的地_ dataset_id.table_nam

浏览 0提问于2019-03-30得票数 1

回答已采纳

1回答

在bigqueryoperator airflow上编写Bigquery脚本

google-cloud-platform、google-bigquery、airflow、google-cloud-composer

是否可以在airflow BigQueryOperator (airflow 1.10.12)中执行bigquery脚本？有人设法做到了吗？create_disposition=False,schema_update_options=False, location='EU') 但我得到的只是一个“未找到:数据集在3:9未在位置US找到”

浏览 25提问于2020-12-19得票数 0

回答已采纳

2回答

BigQuery:访问被拒绝:用户没有查询表的权限。也许它不存在于美国的地理位置

google-cloud-platform、google-bigquery、google-cloud-run

我使用Bigquery的Go客户端，我们的设置完全位于欧盟位置(据我所知)，但我看到一些错误我的理解是，如果我的数据集和表在欧盟，作业也将在那里运行。但是，我

浏览 13提问于2022-11-22得票数 0

回答已采纳

1回答

等待在BigQuery中插入AppsScript？

google-apps-script、google-bigquery

我想等待BigQuery插入作业的完成。在这个用例中，我正在对我在Google中的CSV文件进行插入，这些文件可能相当大。var res = BigQuery.Jobs.insert(job, projectId, data); 如果我有查询结果，我可以对jobComplete属性进行投票，但在insert属性上没有。例如，作业状态状态似乎就是“运行”。因此，如何在这里等待或轮询插入以确保完成？jo

浏览 0提问于2020-04-07得票数 0

1回答

将结果导出到表时出现Bigquery后端错误

google-bigquery

有一段时间，查询运行得很好，但最近出现了这个错误："Backend Error“。我知道我的查询很大，大约需要300秒来执行。但我认为这是某个BigQuery的错误，所以我想知道为什么会发生这个错误。以下是显示错误的图像：

浏览 1提问于2014-08-02得票数 2

1回答

在本地机器上使用gcloud CLI获取BigQuery作业的详细信息

google-cloud-platform、google-bigquery、google-cloud-sdk、gcloud-cli

我正在尝试处理由所有用户运行的每个bigquery作业的计费字节。我能够在项目历史记录下的BigQuery UI中找到详细信息。在Google上运行bq --location=europe-west3 show --job=true --format=prettyjson JOB_ID也提供了我想要的确切信息( bigquery，计费字节，每个bigquery<e

浏览 15提问于2022-07-18得票数 0

回答已采纳

点击加载更多